AIは「ひとりで考える」のをやめた──推論モデルの内側で起きている「思考の社会化」

Seo Seungchul
1月20日
読了時間: 12分

シリーズ: 論文渉猟

◆今回の論文：Junsol Kim et al., "Reasoning Models Generate Societies of Thought" (arXiv, 2026年1月15日）

概要：DeepSeek-R1やQwQ-32Bなどの推論特化型AIモデルが、なぜ従来のモデルより高い推論精度を達成するのかを分析した研究。単に長い思考の連鎖を生成するだけでなく、内部で複数の視点を持つ「エージェント」間の対話のような構造を生成していることを発見。この「思考の社会（Societies of Thought）」とも呼べる現象が、推論精度向上の鍵であることを実験的に示した。

あなたが何か難しい問題に直面したとき、頭の中で自分自身と議論することはありませんか。「いや待てよ、それは違うんじゃないか」「でもこっちの見方もあるよな」と、まるで複数の自分が意見をぶつけ合うように。実は最新のAI、特にDeepSeek-R1やQwQといった「推論モデル」と呼ばれるシステムの内部でも、驚くほど似たことが起きているようです。

この研究は、こうした推論モデルが単に「長く考える」のではなく、内部で複数の視点を持つ「エージェント」のような存在を生み出し、彼らに議論させることで答えにたどり着いていることを示唆しています。しかもそれは誰かがそう設計したわけではなく、正解にたどり着くことだけを報酬として学習させた結果、AIが「自発的に」獲得した振る舞いなのです。

富良野とPhronaの二人の対話を通じて、AIが「社会」を内面化するとはどういうことか、そしてそれは人間の知性についても何かを教えてくれるのか、一緒に考えてみましょう。

「考える」とは何をすることなのか

Phrona：この論文、「推論モデルは思考の社会を生成する」ってタイトルからは最初ちょっと抽象的な話かなって思ったんですけど、中身を見るとかなり実証的なんですよ。

富良野：そこが面白いところで。DeepSeek-R1とかQwQって、いわゆる「推論特化モデル」と呼ばれているものですけど、従来のモデルと何が違うかというと、答えを出す前にすごく長い「思考の過程」を出力するんですよね。

Phrona：ええ。でも長いだけじゃダメだっていうのがこの研究のポイントで。単にトークン数を増やしても精度は上がらない。じゃあ何が効いているのか。

富良野：それが「対話的な構造」だと。質問と応答、視点の転換、対立と和解。まるで複数の人間が議論しているみたいなパターンが、推論の軌跡の中に現れているんですよね。

Phrona：しかも、それが難しい問題ほど顕著に出てくる。簡単な論理問題だとあまり出ないけど、大学院レベルの物理学の問題とかだと、はっきり対話的になる。

富良野：これ、人間のチームの研究を思い出しませんか。多様な専門性を持つ人が集まって、意見をぶつけ合うことで良い答えに到達するっていう。

Phrona：まさにそれを引用していて。集合知とか、チームの認知的多様性が問題解決を促進するっていう社会科学の知見を、AIの内部プロセスに当てはめようとしている。

対話はどこから来たのか

富良野：ここで面白い問いが出てくるんですよ。この対話的な構造って、誰が設計したわけでもないんです。

Phrona：そこがこの研究の一番驚くところかもしれない。DeepSeek-R1は、正解したら報酬を与えるという強化学習で訓練されているだけで、「対話的に考えろ」とは一言も言っていない。

富良野：なのに、学習が進むにつれて勝手に対話的になっていく。彼らの実験でも、最初は機械的に計算を並べていただけのモデルが、訓練を重ねるうちに「うーん、これじゃダメだな」「別のやり方を試してみよう」みたいな、自問自答的なパターンを獲得していく。

Phrona：しかも「私たち（we）」という一人称複数形を使い始めるんですよね。まるで自分の中に複数の存在がいるかのように。

富良野：これ、発達心理学でいう「内言」を思い出すんですよ。ヴィゴツキーの理論で、子どもが最初は声に出して自分に話しかけていたのが、やがて内面化されて無言の思考になるという。

Phrona：バフチンの「対話的自己」ともつながりますよね。人間の思考そのものが、もともと内面化された対話だっていう見方。

富良野：そう。だから、AIが対話的に考え始めたというより、思考というものが本質的に対話的で、正解を追求する圧力の下でそれが自然に現れた、という解釈もできる。

多様性が鍵になる

Phrona：もう一つ興味深いのが、この「内なる対話」の参加者たちが、ちゃんと違う性格を持っているっていう発見なんです。

富良野：ビッグファイブっていう性格診断の枠組みで分析していて、推論の軌跡の中に現れる異なる「視点」や「声」が、外向性とか神経症傾向とか、異なる性格特性を示すと。

Phrona：特に面白いのが、協調性（Agreeableness）と神経症傾向（Neuroticism）の多様性が高いという結果。つまり、お互いに異議を唱えたり、不安を表明したりする声が混在している。

富良野：これ、実際の人間のチーム研究でも確認されていることで。外向性や神経症傾向のばらつきがあるチームの方がパフォーマンスが高くて、逆に誠実性（Conscientiousness）のばらつきが大きすぎると調整コストがかかってダメになる。

Phrona：推論モデルでも、誠実性の多様性は低いんですよね。つまり、みんな真面目に取り組んでいる。でも、意見の衝突や不安の表明はちゃんとある。

富良野：「仲良しクラブ」じゃダメだってことですよね。いわゆるエコーチェンバー状態、みんなが同意し合って批判的検討をしない状態だと、最初の間違った仮定がそのまま通ってしまう。

Phrona：人間の組織でもよくある失敗パターン。それをAIが自発的に回避する方法を見つけたというのは、なんだか皮肉というか、示唆的というか。

機械可読な「驚き」の効果

富良野：研究チームは、この対話的構造が本当に推論精度に寄与しているのかを、もっと直接的に確認しようとしているんですよ。

Phrona：スパースオートエンコーダーを使った実験ですね。モデルの内部表現の中から、特定の「特徴」を取り出して、それを増幅したり抑制したりする。

富良野：彼らが注目したのが「驚きや気づきを示す談話マーカー」に関連する特徴。「Oh!」とか「Wait」みたいな、会話の中で視点が切り替わるときに使われる表現。

Phrona：で、その特徴を増幅すると、算数パズルの正答率が27%から55%に跳ね上がる。逆に抑制すると24%に下がる。

富良野：倍になるんですよ。しかも、この特徴を増幅すると、検証とかバックトラッキングとか、推論に効くとされている認知的な振る舞いも一緒に増える。

Phrona：つまり、対話的な構造それ自体が直接効いているだけじゃなくて、他の有効な思考戦略を引き出すトリガーにもなっている。

富良野：これ、構造方程式モデリングで確認していて、直接効果と間接効果の両方が有意に出ている。対話的構造は、推論の探索空間を広げる直接的な効果と、有効な戦略を促進する間接的な効果の両方を持っている。

会話のスキャフォールドが学習を加速する

Phrona：もう一つの重要な実験が、事前に対話的な形式で学習させておくと、その後の強化学習が速く進むっていう発見ですよね。

富良野：ええ。複数のペルソナが議論する形式のデータで微調整したモデルと、同じ問題を解いた正解の「独り言」形式のデータで微調整したモデルを比較している。

Phrona：どちらも「正解」は同じ。でも、その正解に至る過程が対話的か独白的かが違う。

富良野：で、その後に強化学習をかけると、対話形式で準備したモデルの方が明らかに早く精度が上がる。訓練ステップ40の時点で、対話組が38%に対して独白組が28%。

Phrona：しかもこの効果が、別のタスクにも転移する。算数パズルの対話形式で学習したモデルが、政治的なフェイクニュース判定でも学習が速くなる。

富良野：つまり、対話的な構造を「考え方のテンプレート」として持っていることが、様々な推論タスクに汎用的に効くらしいと。

Phrona：これ、人間の教育でいう「メタ認知スキル」に近いのかもしれませんね。特定の知識じゃなくて、考えること自体の型を学ぶというか。

人間の知性の鏡として

富良野：この研究、AIについての発見であると同時に、人間の知性についても何かを言っているような気がするんですよ。

Phrona：というと?

富良野：つまり、正解を出すことだけを報酬にして学習させた結果、AIが「自然に」対話的な思考を獲得したわけでしょう。これって、対話的な思考が問題解決にとって本質的に有利だということの、ある種の証明じゃないですか。

Phrona：ああ、進化論的に考えると面白い。人間が対話的に考えるようになったのは、それが生存や繁殖に有利だったから。AIも、正解という報酬に向かって最適化した結果、同じような構造に収斂した。

富良野：ミンスキーの「心の社会（Society of Mind）」を思い出しますよね。知能というのは単一のシステムじゃなくて、多数のエージェントの相互作用から創発するという考え方。

Phrona：でも、少し慎重になる部分もあって。人間の対話が持っている身体性とか、時間をかけて培われる信頼関係とか、そういうものがAIにあるわけではないですよね。

富良野：それはそう。彼ら自身も論文の中で、AIの「記憶」には人間とは根本的に異なる仕組みがあることは認めている。会話している相手の情報が、実行時に動的に挿入されて、セッションが終われば消えるという。

Phrona：だから、「AIも人間と同じように考えている」というよりは、「問題解決に有効な構造には普遍的なパターンがあって、人間もAIもそこに収斂しうる」という読み方の方が正確かもしれませんね。

富良野：あるいは、人間の思考そのものが、社会的相互作用のシミュレーションとして発達したのだとすれば、AIがそれを再発明したのは必然だったのかもしれない。

Phrona：なんだか、AIを研究することが、人間を理解することの別のルートになっているような。鏡を見ているみたい。

富良野：歪んだ鏡かもしれないけど、それでも何かは映っている。その歪み方自体が、何かを教えてくれるのかもしれませんね。

ポイント整理

推論特化モデルの特異性
- DeepSeek-R1やQwQといった推論特化型のAIモデルは、従来の指示追従型モデル（GPT-4系やLlama系など）と比較して、複雑な認知タスクで顕著に高い精度を示す。この違いは単に「長く考える」ことではなく、思考過程の質的な違いに起因することが示された。
対話的構造の発見
- 推論の軌跡（Chain of Thought）を分析すると、推論特化モデルには「質問と応答」「視点の転換」「視点間の対立」「対立の和解」といった、人間の対話に特徴的なパターンが顕著に現れる。これらのパターンは、同じ長さの出力でも従来モデルではほとんど見られない。
社会情動的役割の活性化
- 社会心理学のベイルズ相互作用過程分析（IPA）の枠組みで分析すると、推論モデルは情報を「与える」だけでなく「求める」役割、ポジティブな感情だけでなくネガティブな感情（異議申し立て、緊張、敵対）を示す役割を同時に活性化している。つまり、一方的な独白ではなく、双方向的なやり取りが生じている。
難易度との相関
- 対話的な振る舞いは、問題が難しいほど顕著になる。簡単な論理問題では出現頻度が低いが、大学院レベルの科学問題や複雑な数学問題では明確に増加する。これは、この構造が「飾り」ではなく機能的に働いていることを示唆する。
内在するペルソナの多様性
- 推論の軌跡の中で発言している「声」を分析すると、異なる性格特性（ビッグファイブ）と異なる専門性を持つ複数の視点が存在することが判明した。特に協調性と神経症傾向の多様性が高く、これは相互批判と不安の表明が活発であることを意味する。
因果的検証
- スパースオートエンコーダーを用いた実験で、「驚きや気づきを示す会話マーカー」に関連する特徴を増幅すると、算数パズルの正答率が約2倍に向上することが確認された。この効果は直接的なものと、他の認知戦略（検証、バックトラッキング等）を促進する間接的なものの両方がある。
自発的獲得
- 対話的構造は、正解にのみ報酬を与える強化学習の過程で自発的に獲得される。「対話的に考えろ」という明示的な指示なしに、モデルは自問自答、視点転換、自己修正といったパターンを発達させる。
事前学習の効果
- 対話形式のデータで事前に微調整したモデルは、独白形式のデータで微調整したモデルより、その後の強化学習で速く精度が向上する。同じ正解を含んでいても、提示形式の違いが学習効率に影響する。
ドメイン間転移
- 対話的構造の学習効果は特定のタスクに限定されず、算数パズルで学んだ対話形式が、政治的誤情報の判定という異なるドメインのタスクでも学習を促進する。
集合知との並行性
- これらの発見は、人間のチームにおける集合知の研究と整合的である。多様な視点を持つ人々が建設的に議論することで良い結論に至るという知見が、単一のAIモデルの内部でも再現されているように見える。

キーワード解説

【推論モデル（Reasoning Model）】

正解を出す前に長い「思考の過程」を出力するよう訓練されたAIモデル。DeepSeek-R1、QwQ、OpenAIのo-seriesなどが代表例。強化学習によって推論能力を強化している。

【思考の連鎖（Chain of Thought, CoT）】

AIが最終的な回答に至る前に、中間的な推論ステップを言語化して出力する手法。推論の透明性を高め、複雑な問題の解決を促進する。

【思考の社会（Society of Thought）】

この研究で提唱された概念で、推論モデルの内部で複数の視点を持つエージェントが対話しているかのような構造を指す。ミンスキーの「心の社会（Society of Mind）」を想起させる。

【強化学習（Reinforcement Learning）】

正解や望ましい結果に対して報酬を与えることで、AIの振る舞いを改善していく学習手法。推論モデルの訓練に広く用いられている。

【スパースオートエンコーダー（Sparse Autoencoder, SAE）】

ニューラルネットワークの内部表現を、解釈可能な「特徴」の集合に分解する手法。モデルの内部で何が起きているかを理解するための機械的解釈可能性の技術。

【ベイルズ相互作用過程分析（Bales' Interaction Process Analysis, IPA）】

グループ内の相互作用を12のカテゴリに分類する社会心理学の分析枠組み。情報の授受と社会情動的役割（肯定・否定的感情表現）を体系的に捉える。

【ビッグファイブ（Big Five）】

性格を5つの次元（開放性、誠実性、外向性、協調性、神経症傾向）で捉える心理学の枠組み。この研究では、推論軌跡内の異なる「声」の性格特性を分析するために使用。

【集合知（Collective Intelligence）】

個人の能力を超えて、集団として発揮される知的能力。多様な視点を持つメンバーが建設的に議論することで高まるとされる。

【対話的自己（Dialogic Self）】

バフチンの理論で、人間の自己や思考が本質的に対話的な構造を持つという考え方。内面化された他者との対話として思考を捉える。

【内言（Inner Speech）】

ヴィゴツキーの発達心理学の概念で、外言（声に出す言葉）が内面化されて、音声を伴わない思考となったもの。自己への語りかけとしての思考。