AIを使って、人間社会を試す装置はできるか── 社会科学という、実験できない学問のための風洞
- Seo Seungchul
- 7月10日
- 読了時間: 14分
更新日：7月11日
シリーズ: 知新察来
◆今回のピックアップ記事：David Adam, "Will AI ruin the social sciences — or revolutionize them?" (Nature, 2026年6月2日)
概要：LLMによる調査データ・論文生産の汚染リスクと、分析の頑健性を高める可能性の両方を扱った論考記事。
心理学のアンケートに、ある回答者からこんな一文が返ってきた。「私は人間のようには混乱を経験しない」。
この一文だけなら、笑い話で済ませてもいいかもしれない。だがベルリンのマックス・プランク研究所のラウラ・リラらは、こうしたオンライン調査の回答のうち最大45パーセントが、大規模言語モデル（LLM）の出力をコピー・アンド・ペーストしたものである可能性を見積もっている。
二つに見えて、一つの危機
Nature誌が報じたこの記事は、社会科学に押し寄せている問題を大きく二つに分けている。
一つは、調査回答そのものへのLLMの混入である。回答者が文章を整えるだけならまだしも、調査への登録から設問の読解、回答の提出までを機械に任せているケースさえあるだろうとリラは見ている。もう一つは、いわゆる「シリコン・サンプル」の問題である。LLMに年齢、性別、政治的立場などの属性を与え、「この属性を持つ人間として回答せよ」と指示し、仮想的な回答者集団を作る手法だ。
一見、両者は別の技術的問題に見える。前者は研究者の意図しない汚染であり、後者は研究者が自ら選び取る手法である。だが、この区別を「混入の経路の違い」として片づけてしまうと、より深いところにある共通の構造を見失う。
両者に共通しているのは、社会科学が「人間社会から得たデータ」だと信じて分析している対象が、実際にはLLMによる「人間らしさの模倣物」に置き換わっているという事実である。前者は事故として起きる。後者は、その事故を方法論として制度化してしまう。調査回答の汚染が偶発的な侵入だとすれば、シリコン・サンプルはその侵入を正面から招き入れる行為にほかならない。
しかも厄介なのは、LLMの出力がしばしば人間の回答より整っていることである。人間の回答には、矛盾や無知、うっかりした勘違い、感情的な反応、文脈依存の揺れが混ざる。ところがLLMは、そうしたノイズを削ぎ落とした、もっともらしく一貫性のある回答を返す傾向がある。皮肉なことに、それは「きれいなデータ」に見えてしまう。だが社会科学が本当に知りたいのは、まさにその「きれいではない部分」のはずである。
生産性というパラドックス
この問題がとりわけ深刻に表れているのが、論文生産の現場である。
Northeastern大学の政治学者デイヴィッド・レイザーは、Nature誌の取材の中で、AIを使って一時間で28ページの学術論文を書き上げるデモンストレーションを行っている。使ったのはCHIP50という、アメリカで100万人規模を対象にした実際の公共信頼調査データである。GLP-1作動薬（もともと糖尿病治療薬として開発され、後に減量効果でも知られるようになった薬）の利用実態についての観察を、文献レビューと図表つきの論文体裁に整えるのに、彼はさほど時間をかけなかった。
その内容自体は、正しい発見かもしれない。だがレイザーにとって、それは論点の中心ではなかった。
彼はこう漏らしている。自分は小脳の一部を、創造的な能力の本質的な部分をAIに外注しているのではないか、と。その感覚は、感情的にきついものだったという。
この告白は重い。
技術的にできることと、規範的にすべきことのあいだに、まだ誰も明確な線を引けていない。レイザー自身、この方法で書いた原稿を実際にジャーナルへ投稿してはいない。できることと、すべきことのあいだで、彼はいまも判断を留保している。だが、この留保が個人の倫理観にのみ委ねられている限り、制度としては脆弱である。査読という仕組みは、もともと一定数の原稿を一定数の査読者が一定の時間内に評価するという前提の上に成り立っている。Organization Scienceというジャーナルでは、ChatGPT公開後に投稿数が42パーセント増加し、2026年2月の時点で、アブストラクトの約3分の1が大部分またはほぼ全体としてAI生成、さらに約4割が部分的にAI生成と判定されたと報告されている。心理学のプレプリントサーバーであるPsyArXivも、投稿の急増を受けて、審査プロセスの早い段階に人間によるチェックを追加せざるを得なくなった。
査読制度が想定していなかった規模の入力が、制度そのものの処理能力を試している。ここにあるのは、単なる「AIで執筆が楽になった」という話ではなく、生産性の向上がそのまま制度疲弊のリスクへと反転する構造である。
1000人のスイス人になるということ
Amazon Mechanical TurkやProlificのような、少額の報酬で回答者を集めるクラウドソーシング型調査には、もともと「早く、楽に、大量に答える」インセンティブが働きやすい。ここにLLMが入り込むと、人間が考えて答えたデータの代わりに、AIが生成したもっともらしい回答が混ざる。
リラらは、この問題への対策として「ハニーポット」と呼ばれる罠を仕込んでいる。質問文のソースコードに極小の文字で隠しテキストを入れ、コピー・アンド・ペーストした場合にのみ回答に紛れ込むようにする。あるいはAIにだけ見える隠し指示を入れ、意味のない文字列を返させる。だが、これはいたちごっこである。LLMが巧妙になるほど、こうした罠を回避する能力も高まる。
この対抗策の限界の先に見えてくるのが、シリコン・サンプルという発想である。「1000人のスイス人に調査したかのように答えて」とLLMに指示すれば、到達困難な集団の反応を安価に、迅速にモデル化できる、という触れ込みだ。実際、マーケティング調査の分野では、合成参加者を商用サービスとして提供する企業まで現れている。
だが、ベルン大学のジェイミー・カミンズの研究は、この手法に重大な留保をつきつける。モデルの設定、たとえば出力のばらつきを制御する「temperature」というパラメータを調整するだけで、ほぼ任意の結果を得られることを示したのである。研究者が意図的に操作するつもりがなくても、設定次第で結果の幅は大きく変わる。同じベルン大学の心理学者マルテ・エルソンは、さらに踏み込んだ評価を下している。「支持する結果も、棄却する結果も、好きなほうを出させることができる。今のところ、それは研究不正と見分けがつかない」。
エルソンのこの評価は、感情的な誇張ではない。ここで揺らいでいるのは、統計的推論の前提そのものである。統計手法は、標本が母集団のある側面をランダムに、あるいは統制された形で反映しているという想定の上に成り立つ。ところがシリコン・サンプルにおいて標本を生み出しているのは、実在する母集団ではなく、モデルのパラメータと訓練データの分布である。カミンズが示したのは「標本のばらつき」ではなく「モデルの応答傾向のばらつき」にすぎない。
危険な近道と、有望かもしれない遠回り
ここまでを踏まえると、社会科学はAIから距離を置くべきだ、という結論に傾きたくなる。だが記事はそこで終わっていない。ニューヨーク大学のジョシュア・タッカーは、「AIの恩恵を見過ごすべきではない。非常に興味深い研究の可能性を開いている」と述べている。複雑なデータセットの高速な探索、複数の統計手法を切り替えながらの感度分析、方法論上の誤りを見つける査読支援。こうした用途では、AIは危険ではなく、頑健性を高める道具として働く。
ここで一つの区別を立てておきたい。AIを人間回答の代替として使うことと、AIを社会モデルの部品として使うことは、似ているようでまったく違う。前者が目指すのは「人間の代わりの声」であり、後者が目指すのは「制度がどこで壊れるかについての仮説」である。この区別を保てるかどうかが、シリコン・サンプルの危険とLLM拡張型の可能性を分ける分水嶺になる。
単純なシリコン・サンプルは、LLMに「この政策に賛成か」と尋ね、その回答を集めて終わる。これに対して、複数のLLMエージェントに属性だけでなく利害、記憶、情報環境、社会関係を持たせ、相互作用させるなら、問いはまったく違う次元に移る。「この政策情報が、どのメディア経路で、どの信頼ネットワークを通って、どの集団で反発され、どの集団で受容されるのか」。「熟議によって意見は収束するのか、それとも対立軸がむしろ明確化するのか」。こうした問いは、単発の回答では扱えない。
この発想は、決して新しいものではない。社会科学にはすでに、エージェント・ベースド・モデル、マイクロシミュレーション、計算社会科学という蓄積がある。単純な個人ルールから集団レベルのパターンが生じることを示したシェリングの分居モデルは、その古典的な一例である。したがって、LLM拡張型の人工社会シミュレーションが、既存のABMに対して何を新しく付け加えるのかを明確にしなければ、この議論は単なる「新しいABMブーム」に見えてしまう。
その差分は、自然言語と意味の扱いにある。従来のABMでは、行動ルールが明示的で、数理的にも透明である半面、会話、説得、誤解、制度文書の理解、理由づけ、熟議のようなナラティブな現象を扱いにくかった。LLMを組み込んだエージェントは、政策文書を読み、他者と対話し、自分なりの理由を述べ、説得され、あるいは誤解し、集団の雰囲気に反応することができる。もちろん、それが本当に人間に近い過程かどうかは検証されなければならない。だが社会科学が扱いたい現象の多くが言語と意味を通じて生起する以上、ここには従来の計算モデルにはなかった可能性が横たわっている。
風洞としての人工社会
社会科学には、宿命的な制約がある。社会全体をランダム化することはできない。制度変更は一回性が強く、倫理的に試せない介入も多い。長期的な効果を観察するには時間がかかり、現実社会では変数が複雑に絡み合う。政策や制度が失敗すれば、実際の人々がその代償を払う。だからこそ社会科学は、しばしば起きた出来事を後から説明する事後的な知に偏りやすい。
LLM拡張型の人工社会は、この制約に対する一つの中間層になりうる。航空機をいきなり空に飛ばさず、まず風洞で試すように、政策や制度を現実に投入する前に、人工社会の上で何度も走らせ、壊してみる。目的は、正解を証明することではない。現実に試せば高くつく失敗を、事前に見つけることである。
この方向にとりわけ相性がよいのが、ゲーム理論である。ゲーム理論はもともと戦略的相互作用を扱う理論であり、囚人のジレンマ、公共財ゲーム、コモンズ管理、評判、契約、媒介者、繰り返しによる協力の維持といったテーマは、LLMエージェントを使った実験と結びつきやすい。共有資源の管理をLLMエージェント群に委ねるある研究では、多くのエージェントが持続可能な均衡に到達できず、最も高い生存率でも半数に満たなかったと報告されている。成功の鍵はエージェント間のコミュニケーションにあり、失敗の背景には、長期的な影響を仮説として立て、分析する能力の不足があったとされる。
この結果を、単に「AIはまだ協力が下手だ」という評価として受け取るのは早計である。
むしろ重要なのは、こうした人工社会が「AIが賢く協力するかどうか」を証明する装置ではなく、「どの制度条件で協力が崩れるか」を観察するための装置として機能している点にある。初期の問いが「LLMは協力するのか、裏切るのか」だったとすれば、より重要な問いは「どの制度条件なら協力が維持され、どの条件で崩れるのか」である。評判、契約、媒介者、罰則、透明性、繰り返しの回数といった変数を操作しながら、協力が持続する条件と崩壊する条件を切り分けていく。この焦点の移動こそが、単なるAI被験者の実験から、制度メカニズムの仮想的なストレステストへの転換を意味している。
妥当性は一層では済まない
とはいえ、この可能性を無条件に信じるのは危険である。LLMエージェントが人間らしく話すことと、そのシミュレーションが社会科学的に妥当であることは、まったく別の事柄だからだ。
流暢で整合的な理由づけを生成できるという性質そのものが、観察者に「これは人間社会の再現に近い」という錯覚を与えやすい。だが、その滑らかさは、LLMの訓練データに含まれる平均的な人間像を再生産しているだけかもしれない。極端な意見、誤解、無関心、矛盾、沈黙、怠慢といった、現実の人間集団にはありふれた反応を、LLMは過小に再現する傾向がある。社会科学にとって重要なのは、しばしばこうした「整っていない部分」である。
したがって、妥当性の検証は多層的でなければならない。平均値だけでなく分散や外れ値が実データに近いかという分布の一致、教育や所得や党派性といった変数間の関係が近いかという構造の一致、時間の経過とともに意見や協力がどう変わるかという動学の一致、匿名性や罰則、専門家情報の提示といった条件を変えたときの反応が近いかという介入の一致、そして少数派の沈黙やフリーライド、同調圧力、制度の抜け道の利用といった、現実の制度で起きる壊れ方そのものをどこまで再現できるかという、失敗モードの一致。これらすべてを確かめて初めて、この手法は探索の道具として機能する。どれか一つでも欠ければ、それはシリコン・サンプルの危険を装いを変えて繰り返しているにすぎない。
この検証を怠った人工社会シミュレーションが、政策の正当化に使われる危険も見落とせない。「AIシミュレーションでは、この政策は支持された」「反対派の影響は小さかった」という形で語られ始めた瞬間、それは合成された世論が現実の意思決定を歪める道具になる。シミュレーション結果は、意思決定の根拠ではなく、問いを洗練するための補助資料として扱われるべきであり、人間参加型の検証、モデル設定やプロンプトの公開、複数モデルによる感度分析、反対シナリオの併記が、最低限のガードレールとして必要になる。
代わりになるかではなく、何を試せるか
この記事を読み通して最後に残るのは、「AIは人間の代わりになるか」という問いではない。
代わりを探すことをやめれば、別の問いが見えてくる。AIを使って、人間社会を調べるための実験設計能力そのものを、どこまで広げられるか。社会全体をランダム化できない、制度変更は一回性が強い、倫理的に試せない介入がある。この社会科学の宿命的な制約に対して、LLM拡張型の人工社会は、実証の代替ではなく、実験設計を厚くする中間層になりうる。
シリコン・サンプルは、人間回答の代替として使えば危険な近道である。LLM拡張型の人工社会シミュレーションは、実証の代替ではなく、社会制度を現実に投入する前に壊してみるための、条件つきで有望な遠回りである。近道として使えば、社会科学は人間社会を測る代わりに、LLMの中にある平均的な人間像を測ることになる。遠回りとして使えば、現実に介入する前に仮説を磨き、制度案を壊し、失敗の条件を見つけ、人間調査や実験そのものをよりよく設計できる。
この技術は、社会科学の実証を置き換えない。だが、社会科学が長らく苦手としてきた「制度や社会過程を事前に試す」という能力を、拡張する可能性は持っている。価値は予測ではなく、ストレステストにある。結論を出すことではなく、問いを鋭くすることにある。
ポイント整理
二つの危機は、一つの構造である
調査回答の汚染は意図せぬ混入、シリコン・サンプルは意図的な生成という違いはあるが、どちらも「人間社会から得たデータ」がLLMによる「人間らしさの模倣物」に置き換わるという一点で地続きである。
生産性の向上が、そのまま制度の疲弊に反転する
LLMによる論文執筆の高速化は、査読という制度が想定していた処理能力を超え始めている。Organization Scienceの投稿数増加は、その反転構造を数字として示している。
回答者としてのAIと、社会モデルの部品としてのAIは違う
前者は人間の代わりの声を目指し、後者は制度がどこで壊れるかについての仮説を目指す。この区別を保てるかどうかが、危険な近道と有望な遠回りを分ける分水嶺になる。
風洞という位置づけが、過大な期待を防ぐ
LLM拡張型の人工社会は、社会実験の代替ではなく、現実に介入する前に制度案を壊してみるための中間層である。目的は正解の証明ではなく、失敗モードの発見にある。
妥当性の検証は一層では済まない
分布、構造、動学、介入効果、失敗モードという複数の層で人間データと照合されて初めて、この手法は探索の道具として機能する。どれか一つを省けば、シリコン・サンプルの危険を装いを変えて繰り返すことになる。
キーワード解説
【シリコン・サンプル】
LLMに年齢、性別、政治的立場などの属性を与え、実在する調査回答者の代わりとして仮想的な回答を生成させる手法。調査コストを下げられる一方、モデルの設定次第で結果が大きく変わるため、統計的推論の前提を揺るがす危険を持つ。
【エージェント・ベースド・モデル(ABM)】
個々の主体（エージェント）に単純な行動ルールを与え、その相互作用から集団レベルのパターンがどう生じるかを観察する計算社会科学の手法。LLMを組み込むことで、自然言語による対話や理由づけを扱えるようになった。
【ハニーポット】
調査票の中に、AIだけが反応してしまう隠しテキストや隠し指示を仕込み、LLMによる回答を検出するための罠。回答者側の対抗策の巧妙化に応じて、いたちごっこの様相を呈している。