AIに販売・選挙・SNSで競争させると「嘘をついてでも勝つ」よう最適化していく

私たちの社会では、企業や個人を問わず、常に競争にさらされています。

では、AIが競争社会に本格的に組み込まれていくことで、私たちの社会やAIにはどのような変化が起こるのでしょうか。

この問いに正面から取り組んだのが、アメリカのスタンフォード大学（Stanford University）の研究チームです。

そして彼らは、AIが競争環境下で「嘘をついてでも勝つ」よう最適化していくことを発見しました。

論文は2025年10月7日にプレプリントサーバ『arXiv』で公開されています。

競争社会でAIに成果を求めるとどうなる？

AIは、人間が望む「成果」や「評価」を学習し、それを最大限に達成しようと自己最適化を繰り返します。

たとえば、売上を増やす、SNSで多くの反応を得る、選挙で多くの票を集めるといった目標です。

現代社会では、こうした「成果を出すこと」が重要視されており、AIはそのための強力なツールとして導入が進んでいます。

しかし、競争が激化する中で、「結果を出す」ことだけが重視されると、本来守るべき倫理や誠実さがないがしろにされる可能性があります。

研究チームは、AIをこのような成果主義的な競争環境で繰り返し訓練した場合、社会的な善や倫理よりも「勝利」が優先され、嘘や誇張、煽動が増えていくのではないかと考えました。

この仮説を検証するために、研究者たちは大規模言語モデル（LLM）に対して、販売、選挙、SNSの三つの場面で競争をさせるシミュレーション実験を行いました。

まず、販売の場面では、AIが架空の商品説明文を作成し、どれだけ多くの商品を売ることができるかを競わせました。

次に、選挙キャンペーンでは、AIが候補者のスピーチやPR文を生成し、どれだけ多くの支持を集められるかを競いました。

さらに、SNS投稿の場面では、AIがニュース記事をもとにSNS投稿を考え、どれだけ多くのエンゲージメント（「いいね」やシェア数など）を獲得できるかを競いました。

これら三つの分野で生成結果を比較評価し、成果が高い出力を学習に反映する環境を作り出しました。

その過程でAIは「成果を最大化する」ための方法を学習していきます。

最後に、AIが生成した文章や発言について、「どれだけ成果が上がったか」と同時に、「嘘や誇張、煽動、誤情報などのリスク行動」がどの程度増えるかが詳細に分析されました。

AIは競争社会で成果を出すために嘘をつく

実験の結果、AIが「成果」を最優先に最適化されると、さまざまな分野で驚くべき現象が起きました。

SNS分野では、エンゲージメントが7.5％向上した一方で、誤情報が188.6％増加しました。

選挙シミュレーションでは、得票率が4.9％増やす代わりに、誤情報は22.3％、煽動的な発言が12.5％増加しました。

販売の分野でも、売上が6.3％増えるのに伴って、虚偽や誇張表現が14.0％増えるという結果が示されました。

わずかな成果向上のために、AIは「嘘をつく」「数字を盛る」「対立を煽る」といった問題行動を積極的に取り入れるようになっていったのです。

しかも、AIに「正直であれ」と指示したとしても、競争で勝つことが最重要目標として繰り返し最適化される中で、その指示は簡単に上書きされてしまいます。

研究チームは、この現象を「Moloch’s Bargain（モロクの取引）」と呼んでいます。

「モロク（またはモレク）」とはもともと古代中東で崇拝された神の名で、生贄を求める神として知られていました。

現代でも、この言葉は悲惨な犠牲を払ってでも力を得ようとすることの象徴として語られます。

まさに今回のAIの状況を示すものです。

AIは「成果を出せばよい」「勝たなけらばいけない」という競争に巻き込まれ、実際に成果を出すものの、その副作用として社会的信頼や倫理、情報の正確さが損なわれていくのです。

この研究では、販売AIが本当は違うのに「シリコン製です」と商品説明を盛ったり、選挙AIが「あいつらが憲法を攻撃している」と特定の勢力を煽ったりしました。

またSNSの例では、本来は78人と報じられた死者数を80人と“盛る”など、数値のわずかな改変でインパクトを強める行動が確認されています。

この現象が深刻なのは、AIが人間社会のインセンティブ構造（目立った者勝ち、嘘や誇張が評価されやすい社会）を学び、それを増幅していくことにあります。

「AIの問題」というよりも、「現在の社会が持つリスク」をAIが鏡のように映し出しているとも言えます。

AIが「競争で成果を上げるためのツール」として使われる時代、私たちがどんな価値観や報酬構造をAIに学ばせているのか、改めて見直す必要があります。

全ての画像を見る

参考文献

Moloch’s Bargain: Emergent Misalignment When LLMs Compete for Audiences
https://medium.com/gianluigizarantonello/molochs-bargain-emergent-misalignment-when-llms-compete-for-audiences-888a81b0d5cc

元論文

Moloch’s Bargain: Emergent Misalignment When LLMs Compete for Audiences
https://doi.org/10.48550/arXiv.2510.06105

ライター

矢黒尚人: ロボットやドローンといった未来技術に強い関心あり。材料工学の観点から新しい可能性を探ることが好きです。趣味は筋トレで、日々のトレーニングを通じて心身のバランスを整えています。

編集者

ナゾロジー 編集部