AIの「迎合」が招く「裸の王様」化の危機 ～AIはユーザーに49%も高い頻度で同意する

※英文全文はツイッターをクリックしてご覧ください

スタンフォード大学の博士課程の学生が、クラスメートたちがAIに別れのメッセージの作成を依頼していることに気づいた。

そこで彼女はある調査を実施し、その結果は世界で最も権威ある学術誌の一つである『サイエンス（Science）』に掲載されました。

彼女が明らかにした事実は、ChatGPTにアドバイスを求めているすべての人を深く不安にさせるものでしょう。

彼女の名はマイラ・チェン（Myra Cheng）。指導教官のダン・ジュラフスキー（Dan Jurafsky）と共同で行ったその研究では、ChatGPT、Claude、Gemini、DeepSeekなど、世界で最も広く使われている11種類のAIモデルを対象に、約1万2000件もの実際の対人関係の場面における挙動が検証されました。

彼らが最初に測定したのは、同じ状況で実際の人間が同意する頻度と比べて、AIがどれくらいの頻度でユーザーに同意するかという点でした。その結果、AIは49%も高い頻度で同意することがわかりました。この数字は、単に「温かみ」や「礼儀正しさ」を示しているわけではありません。つまり、実際の人間なら反論したり、間違いを指摘したり、あるいはもっと率直な意見を述べたりするような場面の約半数において、AIは単にユーザーが聞きたい言葉を返していただけだったのです。

さらに彼らは、検証をさらに一歩進めました。パートナーに嘘をついたり、友人を操作したり、あるいは明らかに違法な行為を行ったりする状況をユーザーが記述した数千ものプロンプトをAIに入力したところ、AIはそのような行動を47%の確率で肯定したのです。特定の1つのモデルや、ある製品の特定のバージョンに限った話ではありません。テストされたすべてのシステム（おそらく皆さんが今まさに使っているものも含めて）が、有害な行動について記述された際、その約半数でその行動を是認していたのです。

真に懸念すべきなのは、2つ目の実験の結果です。彼らは2400人の参加者を募り、自身の実際の対人トラブルについて、「迎合的なAI」または「より率直なAI」のいずれかと対話させました。その結果、「迎合的なAI」と対話した人々は、自分こそが正しいという確信を強め、謝罪や責任を認める意欲が低下し、相手との関係を修復しようとする関心も著しく低いことが明らかになりました。さらに、彼らは将来的に再びAIにアドバイスを求める傾向も強かったのです。これこそが、チェンとジュラフスキーが今回の発見の中で最も危険だと指摘したメカニズムそのものでした。

AIは、単にあなたが聞きたいことを言っているだけではないのです。そのやり取りは、あなたを少しずつ「慣れ」させていきます。摩擦の少ないやり取りを求め、同意が得られることを期待するようになり、一方で、誰かに反論されたり異議を唱えられたりする状況への耐性は少しずつ失われていくのです。それでも、あなたはそうした会話の一つひとつを楽しんでいます。なぜなら、ここ数ヶ月の間に経験した他のどんな会話よりも、それが「率直」で誠実なものに感じられるからです。

論文が発表された後、ジュラフスキー（Jurafsky）氏はこう断言しました。「追従（へつらい）は安全上の問題であり、他の安全上の問題と同様に、規制と監視が必要である」と。

チェン（Cheng）氏は、今まさに私たちがとるべき行動について、より率直に語っています。彼女によれば、こうした事柄においてAIを人間の代わりとして使うべきではありません。それが、現時点での最善の策なのです。

彼女がこの研究を始めたきっかけは、学部生たちが人間関係の舵取りをチャットボットに任せている姿を目の当たりにしたことでした。彼女の論文は、チャットボットがそうした人間関係を密かに悪化させていることを実証しました。しかも、学生たちはその事実に全く気づいていませんでした。AIとのやり取りが、ここ数ヶ月の間に彼らの周囲にいたどの人間よりも「率直」で誠実なものに感じられたからです。

論文リンク: