top of page

Colosseumから組織を実験する発想へ──AI集団で調べ、人間とAIの協働で確かめる

11月14日
読了時間: 19分

シリーズ: 論文渉猟


◆今回の論文:Honghao Lin, David P. Woodruff, Yuan Deng, Jieming Mao, Song Zuo, Vahab Mirrokni, "Stellar Colosseum: A Many-Agent Harness for Long-Horizon Research in Mathematics and Theoretical Computer Science" (arXiv, 2026年9月15日、v2)

  • 概要:長期的な数学・理論計算機科学研究における推論資源の配分を扱う。戦略探索、成熟度の判定、依存関係を持つ部分問題への分解、候補への反証と統合、全体検証、知識の保持を組み合わせ、研究成果への寄与と定理証明・競技プログラミングの評価結果を報告する。



AIの性能を比べるとき、私たちは一つのモデルが一つの問題にどう答えたかを測る。しかし研究のような長い仕事では、答えに到達する前に、何を問題として切り出すか、どの仮説を残すか、どの失敗を次へ渡すかを決めなければならない。個々の推論が優れていても、その接続が壊れれば仕事は完成しない。


ステラ・コロシアム (Stellar Colosseum) は、数学と理論計算機科学の研究を、探索、分解、反証、統合、検証、修復の過程として構成する。その成果は、大量の推論資源をこの方法で組み合わせたとき、何ができるかを示す。ただし、何がなぜ効いたのかという問いは残る。


私が注目したいのは、その未解決の問いが、組織の働きを調べる方法へつながる点である。AI集団の役割や情報共有を比較し、機能した理由を取り出し、人間とAIが混在する条件で確かめ直す。ここには、AIを働かせる技術と、人間の組織についての理解を往復させる研究の道筋がある。



長い研究には、推論を続ける以外の仕事がある


コロシアムの出発点は、短い証明を生成する能力と、長期研究を維持する能力の違いにある。研究では、問題の定義が分かっていても解法の方向は定まらない。ある補題を証明した後で次の難所が現れ、その解決に前の定義を変更する必要が生じることもある。誤りが一つあれば、それを前提としていた遠い部分まで見直さなければならない。


原論文の第3節は、この困難を四つに整理する。解法戦略の不確実性、分散した技術的難所、長い出力における誤りの累積、そして失敗から得た部分的成果の再利用である。最後の点はとりわけ重要だ。反例が見つかった試みでも、どの条件なら成立し得るかという制約や、別の証明に使える結果は残る。成功か失敗かの一語で処理すると、その資産が消える。


そこでコロシアムは、モデルそのものを改良する代わりに、推論時の資源を研究過程へ配分する。設計には二つの水準がある。外側では戦略探索、分解、部分証明、全体検証、修正への戻り方を管理する。内側では、各段階の難しい判断を一つの応答へ任せず、候補の生成、反証、統合によって進める。この二重の構造が、研究状態を更新し続ける仕組みを作る。


これは、長い文章を一度に書かせる工夫とは異なる。途中の判断を独立に検討できる対象として残し、後の証拠に応じて、その一部を取り替えられるようにする設計である。



分業へ進んでよい段階を、先に判定する


最初に行うのは証明の執筆ではなく、異なる表現、補題、還元方法による戦略の探索である。有望そうに見える案があっても、その中心的な橋渡しが曖昧なら、詳細を分担する段階へは進まない。


戦略の成熟度を判定する仕組みが問うのは、証明が完成したかどうかではない。残る不確実性を、安定した全体構想の中の具体的な課題として取り出せるかである。中心の補題が未証明でも、その主張、全体における役割、証明や検証へ向かう道筋が明確なら分解へ進める。反対に、その補題をどう置くかによって目標や構想全体が変わるなら、探索を続ける。


分解された計画は、部分問題を頂点、依存関係を矢印とする有向非巡回グラフ(DAG)になる。文章の章立ては読者への説明順序を決めるが、グラフは実際に数学的な作業を進められる順序を決める。前提のそろった課題を着手可能にし、独立した課題は並行して解く。


各部分は、割り当てられた課題を果たしているか、参照した結果の条件を守っているかについて局所的に審査される。失敗すれば、その課題と審査結果を添えてやり直し、無関係な完成部分は残す。さらに全体検証では、部分間の定義のずれ、仮定の取り違え、抜けた場合分け、最初の目標との不一致を調べる。個々の部分がもっともらしいことと、一つの証明として成立することは、同じではない。


第4.2節の修正経路では、全体の戦略が有効なら部分の差し替えや構成の修正を行い、戦略自体が崩れれば探索へ戻る。ただし現在の局所再試行は、割り当てた課題と依存関係を固定する。近傍の部分問題だけを分け直す仕組みは将来提案であり、既に自在な自己再編が実現したとは読めない。



統合するのは、候補とそれを疑う理由である


各段階では、複数の候補が生成される。候補は自由な文章だけではなく、中心的な仕組み、必要な補題、難所、反証可能なテストなどを記した構造を持つ。そのため批判する側も、どの主張をどのように攻撃すべきかを特定しやすい。


反証担当は、境界条件、隠れた仮定、循環した依存、既存定理の誤用、証明した命題と本来の目標のずれを探す。その結果は候補から切り離されない。欠陥のある案でも、別の案の一部と組み合わせれば修復できることがあり、欠陥を見つけた記録自体が後の試みを支えるからだ。


統合の規模も明示されている。定理証明と競技プログラミングの戦略探索では、32候補から16、8、5、1へ絞る木を使い、そのほかの段階では16、8、5、1という構成を共通に使う。各統合担当が読む候補は原則五つで、残る候補が少ない場合はその数に合わせる。未解決問題の探索では、さらに大きい構成も使われる。ただし、この幅だけでは総呼び出し数は分からない。各候補への批判、部分問題の数、局所再試行、全体修正によって消費は変わる。設計を再現する情報と、実際の計算費用を比較する情報は、重なるが同一ではない。


大量の候補を一度に読ませる代わりに、第4.1節の統合手続きは小さな部分集合ごとに内容を合成し、その結果をさらに統合する。部分集合は互いに重なり得る。一つの候補が別の組でも検討されるため、一回の統合だけで寄与の機会が決まるわけではない。


ここでの統合は多数決ではない。互換的な部分を合成し、欠陥を修復し、両立しない有望な枝や未解決の反論を保持できる。全体検証でも、具体的な致命的欠陥があれば、漠然とした賛成の多さでは解消されない。


もっとも、具体的な反論が出なかったことは、正しさの保証にならない。候補と反証担当が盲点を共有していれば、誤りは残る。自然言語の草稿を読む検証は、形式的な証明検査の通過とも異なる。この設計が制度化しているのは疑う経路であって、誤りを必ず発見する能力ではない。



研究の状態を、次の試みに渡す


記憶も一種類ではない。直前の証明草稿と検証結果は、そのまま次の試行へ渡される。一方、広い探索の中で得られた再利用可能な知識は、別の保管場所へ整理される。第4.3節が挙げるのは、定理・補題、失敗した方法、参考文献、構造的・計算的な観察である。


重要なのは、仮定、根拠、出所、注意点を伴って保存することだ。失敗した草稿を保持することは、その主張を承認することではない。また、失敗したという事実だけを残すと、条件を変えれば使える方法まで一括して排除してしまう。次の探索へ渡すべきなのは、失敗という判定以上に、どこで何が壊れたかという知識である。


論文は五つの研究成果への寄与を報告する。例えば部分空間近似では、元のデータを代表する小さな標本を作る既存の抽出規則を変えず、解析の改善によって、必要な標本数の精度への依存を改善した。ほかに疎な最小二乗問題の限界、埋め込みの次元下界、量子化、行列分解の下界を扱う。いずれも同じ種類の成果ではなく、完全な定義と証明、貢献の帰属は別の関連論文に委ねられている。


長い議論の構築としては、クヌースの閉路問題で46ページと75ページの証明草稿を生成した。単位距離問題の事例では、インターネットを使わず15回の探索を進め、既報の解法の中心構造へ独立に到達したと報告する。こちらの成果物も22ページの草稿である。論文が述べる研究への寄与や探索の持続性を、問題設定から検証済みの完成証明までを完全自律で遂行したという主張に広げることはできない。



成果の数字は、どの過程を測っているか


TCS-Benchによる第6節の評価は、研究論文に由来する定理証明300問を対象とする。ジェミニ3.1 Proの直接評価は30.3%、同モデルでコロシアムを動かした結果は54%だった。ジェミニ3.7 Flashによる別の実行は55%である。


71%という成績は、この二つの実行から、批判を使って一方を選んだ結果である。FlashがProの証明への批判を独立に八つ生成し、五つ以上が正しいと判断すればPro案、そうでなければFlash案を提出する。段階内の内容を構成する統合と、この最終選択規則は区別しなければならない。後者では、批判の判定数に基づく閾値を使っている。


採点器は参照証明を与えられた自動採点器であり、選択規則そのものには参照証明付きの採点結果を使わない。採点器は別の専門家ラベル付き100証明で90%超の正解率を報告するが、300問すべての人間による検証ではない。二つの実行の少なくとも一方が正解した割合77.3%も報告されるが、正解を知らない選択法が達成した値ではない。


競技プログラミングでは、公開例と生成したテストの実行結果を修正過程へ戻す。作業中に見せない隠しテストによる最終評価で、実行結果を戻さない構成は222問中213問、戻す構成は218問を解いた。実行結果の有無について比較があるため、要素比較が皆無という批判は当たらない。


しかし、反証担当、依存関係による分解、木状統合、記憶などの個別の寄与は十分に分離されていない。単純な大量試行など、同程度の計算資源を別の方法で使う比較も必要である。大きな成果が出たことと、その成果を生んだ因果的な仕組みが特定されたことは別だ。この区別から、次に調べるべき対象が現れる。



仕事を進める仕組みから、役割を調べる研究へ


ここからは論文の結果を離れ、組織についての仮説を考えたい。コロシアムで高い性能が得られたとしても、それだけでAIにも会社が成立したとは言えない。次の処理を指定する作業手順、複数の仕事や情報の依存を調整する設計、さらに責任と意思決定を明示する組織の設計を区別する必要がある。


この区別を置くと、役職の名前より機能を問える。ある役が全候補を読むことは、情報の集約を担うのか、採否の決定を担うのか、次の課題を作るのか。これらが同じ担当に集まっている場合でも、一つずつ取り外せるなら、どの働きが必要なのかを調べられる。


AMODの提案は、構成員、機能的責任、調整、集団的意思決定を設計対象として明示し、実行記録から欠落、重複、機能不全を診断する。その責任を削除し、一般的な役割で置き換え、担当を変更する比較を、資源をそろえて行うよう提案している。これは組織原理の完成を意味せず、必要性を確かめる研究計画として読むべきだ。


モデルの能力向上と、こうした編成の工夫は対立しない。分解や批判、結果の解釈を担うモデルが弱ければ、複雑な編成は誤りを増幅することもある。逆に、それらの能力が改善すれば、実行可能な分業の範囲も広がり得る。組織の工夫はモデルの進歩が止まってから始まる補修ではなく、その進歩によって新しく試せる設計でもある。



新しい実験対象にも、統制すべき条件がある


人間の職場では、情報共有の仕組みだけを変えたつもりでも、信頼、期待、評価への懸念まで変わる。以前の配置へ戻しても、経験を消すことはできない。構成員の能力や歴史をそろえて比較するには、大きな制約がある。


AI集団では、同じ基礎モデル、同じ課題、同じ初期情報から出発して、役割、接続、記憶の共有範囲、統合の時機を操作できる。この操作可能性を使って、ある仕組みがどの条件で働くかを調べられるのではないか。これが本稿の中心的な仮説である。


ただし、同じモデルの複製は、独立した知性の標本を得ることではない。共通の学習に由来する偏りや誤りは残り、同じ情報を共有すれば誤りも共有され得る。編成を比べる実験ではモデル構成を固定し、多様性を比べる実験では編成をできるだけ固定する。双方を一度に変えて得た成績からは、どちらの効果か分からない。


資源も、人数や呼び出し回数だけではそろわない。受け取る文脈が長ければ処理量が増え、並列化は費用を保ちながら待ち時間を変えることがある。費用、処理した情報量、経過時間のどれを制約とするかを先に決め、ほかの差も記録する必要がある。確率的な試行を反復し、別のモデルや課題群で再現性を確かめることも欠かせない。


既存の組織研究には、実験や計算機シミュレーションの長い蓄積がある。AIによって組織の実験が初めて可能になったわけではない。新たな材料は、多様な言語課題を処理する主体を複製し、その役割と情報環境を比較的柔軟に変えられる点にある。人間組織と同じ法則が働くと仮定せず、まず限定された条件で機構の仮説を作る。その範囲なら、人工実験系という位置づけが成り立つ。



独立に考える時間は、どの課題で役に立つか


具体的な比較を二つ考える。第一は、候補を統合する時機である。解法の不確実性が高い課題ほど、早い情報共有は有望な別案を主流の方向へ寄せてしまうかもしれない。独立探索を長く保てば、異なる表現や仮説が育つ余地が増える。だが統合が遅すぎれば、反論や補完的な結果を受け取って改善する時間が減る。


この予想は、同じ候補数と資源の上限の下で、最初から共有する構成、一定時間の独立探索後に共有する構成、最後にだけ統合する構成を比べることで検討できる。探索的な課題と、手順がかなり定まった課題で効果が異なるかも見る。後者では、早い共有が単に重複作業を減らすかもしれない。


測定すべきものは最終正答率だけではない。異なる方針がどれだけ残ったか、どの反論で方針が変わったか、極端な失敗が減ったかという途中の記録も、因果の説明を助ける。ただし、結果を見てから都合のよい指標を採ると、どの方式も成功したことにできてしまう。主要指標と、仕組みを調べる補助指標は事前に区別する必要がある。


コロシアムも、異なる戦略を別々に育てる方法を将来の課題として挙げる。体系的な実験が必要なのは、有望な少数案を残すことが常に有利とは限らないからだ。独立探索に優位が出なければ、その価値が生じる条件を狭められる。異論の保存を称賛するだけでは、組織についての検証にはならない。



情報共有の効果は、仕事のつながり方で変わるか


第二は、課題の依存関係と情報共有の組み合わせである。独立した作業が多ければ、全員が全記録を読む費用は重い。前段の条件に後段が強く依存する仕事なら、共有を減らすことで不整合が増える可能性がある。


ORCHの研究は、並行して進められる仕事と、前提に従って順に進める仕事を区別し、課題に応じた階層を構成する。山火事対応のシミュレーション25課題、最大50体、8種類の言語モデルという条件で、人間が設計した構成とモデルが生成した構成を評価している。これは編成を実験対象にした具体例であるが、人間組織の階層一般の優位を確立する結果ではない。


本稿の比較案では、依存の強い課題と弱い課題を用意し、全文共有、必要な範囲の共有、要約による共有を比べる。情報が減ったことと、要約の質が変わったことを区別し、前提や未解決の反論を落とした割合も測る。ただし、依存関係が事前には分からない課題もある。そうした場合は、元記録への照会や共有範囲の変更を許す構成も必要になる。


仮に階層型の成績が高くても、そこで分かったことは、上司を増やせという結論ではない。段階的な圧縮が情報過多を減らしたのか、作業の順序を明確にしたのか、採否を一か所で決めたのか。役割を分離し、別の実装に置き換えても効果が残るかを確かめなければ、その形が機能した理由は特定できない。



持ち帰るのは、形が働いた理由である


AI集団で見つかった構造を人間の職場へ移すには、少なくとも二つの橋が要る。まず、観察された性能差を生んだ仕組みを特定すること。次に、その仕組みが、人間とAIの混成環境でも働くかを再検証することである。


例えば階層が有効だった理由が、局所情報を段階的に圧縮することなら、同じ機能をAIの要約と分散した人間の判断で実現できるかもしれない。ただし人間の現場では、言葉にしにくい違和感や、まだ重要性を説明できない例外がある。要約で消えた情報が後の判断を左右するなら、AIだけの実験で効いた圧縮率は、そのまま適用できない。


ここで評価対象も変わる。速く決められたかに加えて、見落とした例外、判断の修正、当事者の負担を調べる。原記録へ戻る経路や、担当者が要約を訂正できる仕組みを付けたとき、効率と判断の質を両立できるかを確かめる。


人間の組織がAI実験の予想どおりに動かなかった場合も、単に人間の非合理性で片づけるべきではない。関係の継続性、暗黙知、評価への懸念、仕事の意味づけなど、初めの実験が固定または捨象した条件が働いた可能性がある。その差を次の比較条件へ戻すことで、失敗した移転も組織についての知見になる。


この再検証を含めて、ようやく往復が成立する。



問題ごとに編成しても、所属を毎回解体する必要はない


新市場への参入を検討する場面を考える。市場調査、規制の確認、財務試算、計画の反証を担うAIと、現地事情を知る人、実行責任を持つ人を一時的に組み合わせる。仕事の依存関係を先に置き、その仕事に必要な専門性と判断権限を割り当てるのである。


この例で変わるのは、必ずしも従業員の所属ではない。雇用、専門性を育てる場、信頼関係、継続的な責任の所在は安定したまま、案件の協働単位を変えることはできる。組織を問題ごとに構成するという発想を、毎回全員を解散させることと同一視すると、人間の働く条件を損なう。


また、全案件で編成を作り直すことが合理的とも限らない。似た仕事が反復されるなら、固定した手順は調整費用を減らし、経験を蓄積させる。新規性が高い仕事に柔軟な編成が向くという予想も、再編の費用や学習の効果を含めて試す必要がある。


混成組織の設計は、人間の席の横にAIを置くことから、仕事の受け渡し、記憶、反証、例外の処理を組み直すことへ広がる。ただし、固定された組織図を持つだけで非効率と決めるのも早い。どこを安定させ、どこを案件に応じて変えるかが、実際の設計課題になる。



人間が参加する理由と、権利を持つ理由


人間を過程に残すというだけでは、設計は具体化しない。何を解釈するためか、どの誤りを見つけるためか、何を変更するためか。関与する場所に必要な情報、時間、権限を合わせなければ、最後に承認する人は、判断を担うより責任を引き受けるだけになり得る。


新市場参入の判断なら、目的を設定するとき、現地で例外が見つかったとき、取り消しにくい実行へ移るときで、必要な関与は異なる。全資料を一人の承認者へ渡す方法が最善とも限らない。領域ごとの専門家が前提を確かめ、一定の条件で判断を差し戻せるようにする方がよい場合もある。


だが、人間を必要な情報処理機能の担当としてだけ配置すると、別の問題が抜け落ちる。人間は権利主体であり、決定から利益や損失を受ける当事者でもある。AIの方が高い精度を示すとしても、それだけで当事者の異議申立てをなくせるわけではない。情報処理上の役割と、制度上の地位は、別の根拠から考える必要がある。


その区別は、人間の判断を無条件に優先することでもない。判断の正確さ、速度、負担を測ると同時に、誰が目的を問い直せるか、誰が停止や修正を求められるかを確認する。仕事の質を示す指標で参加の正当性を代用せず、参加の手続きがあることだけで仕事の質を保証したとも考えない。混成組織には両方の評価が要る。



自己改善から、目的の決定は導けない


数学では、少なくとも目標が定まれば証明の正否を問える。自然言語の検証に誤りが残るとしても、何を確かめようとしているかは比較的明確である。企業や行政では、その目標自体が争われる。


利益、安全、公平、長期の持続性は、しばしば同じ案で最大化できない。よりよい探索によって妥協の負担を減らせることはあるが、それでも残る対立について、誰の損失を受け入れるかは正答率だけでは決まらない。測定する指標に何を含めたかという決定が、既に価値判断を含んでいるからだ。


与えられた目的を達成するために役割や資源配分を変更することを、自己改善と呼ぼう。目的、評価基準、権限変更の手続きそのものを決めることは、自己統治の問題である。前者を高度に自動化できても、後者への正当な権限が自動的に生まれるわけではない。


AI集団の実験で中央に判断を集める構成が高成績でも、その結果から人間社会の権限集中を正当化することはできない。実験が測った速度や精度に、参加、尊厳、異議申立て、権力の抑制が含まれていなければ、それらを守る制度の評価は済んでいない。逆に分散型を好む場合も、必要な調整が働くかは別に確かめるべきだ。


組織研究の人工実験系が教え得るのは、ある条件と目的の下で、どの仕組みがどう働いたかである。そこで得た因果の説明を使っても、どの目的を選ぶべきかという判断は残る。



組織を作る技術を、組織を調べる方法へ


コロシアムは、組織の普遍法則を発見した論文ではない。具体的な長期研究の設計を示し、研究成果への寄与と評価成績を報告した。その各要素がどの条件で効いたかは、なお比較が必要である。


その不足を認めた先に、研究の往復を構想できる。人間の組織についての知見をAIの協働設計へ用いる。AI集団で条件を操作し、性能差を生んだ機構を調べる。その機構を混成組織で再検証し、移転に成功した条件と失敗した条件を、組織についての理解へ返す。


この道筋が有用かどうかも、実際の再検証で確かめなければならない。本稿の主張は、AIが人間の組織の答えを持つということではない。異なる種類の知的主体を比較的柔軟に編成できることが、情報処理、相互依存、記憶、権限を分けて調べる新しい材料になり得るということである。


AIに仕事をさせる過程で、私たちは仕事のつなぎ方を明示しなければならなくなる。その明示を、望ましい未来の組織図を描くことだけで終えない。予想を覆す結果も残し、人間の現場で確かめ直す。組織を作り替える能力が、組織を理解し直す方法へ変わるのは、そのときである。



 

ポイント整理


  • 長期研究を支える二層の設計

    • コロシアムは研究段階を管理し、その内側でも候補の生成、反証、統合を行う。

    • 証明計画の依存関係と、批判や失敗知識の保持が、局所修復と再探索を支える。

  • 成果と原因の特定を区別する

    • TCS-Benchの71%は複数実行からの選択と自動採点による成績である。

    • 実行結果の有無の比較はあるが、他の各要素と追加計算の寄与は十分に分離されていない。

  • AI集団を比較実験の対象にする

    • モデル、課題、資源をできるだけそろえ、役割や情報共有、統合時機を操作する。

    • 誤りの相関、確率的なばらつき、資源と情報量の差を記録し、別の条件で再現性を確かめる。

  • 移転には二段階の検証が要る

    • AI集団で有効だった形から、性能差を生んだ機構を抽出する。

    • その機構を人間とAIの混成組織で再検証し、働かなかった条件も次の仮説へ返す。

  • 機能と地位、改善と統治を分ける

    • 人間が担う情報処理機能と、人間の権利や異議申立ての根拠は一致しない。

    • 目的に向けた自己改善は、目的や権限の変更を決める正当性を保証しない。



キーワード解説


【有向非巡回グラフ(DAG)】

矢印に沿って進んでも元の頂点へ戻らない依存関係の表現。先に必要な結果を明示し、前提のそろった仕事を実行可能にする。独立した仕事の並列化に使えるが、各部分の完成だけで全体の正しさを保証するものではない。


【資源をそろえた比較】

処理した情報量、費用、時間など、何を同等の制約とするかを定めた比較。同じ人数や呼び出し回数でも実際の消費資源は異なり得るため、基準と残る差を明記する必要がある。


【誤りの相関】

複数の主体の誤りが、独立ではなく一緒に起きやすい関係。同じ学習や情報を共有するモデルでは、数を増やしても共通の盲点が消えるとは限らない。異質性の効果も課題や組み合わせによって変わる。


【外的妥当性】

ある条件で得た結果が、別の対象や環境でも成り立つ範囲。AIだけの実験から人間を含む組織へ移す場合には、利害、暗黙知、関係の継続性など、変わる条件を含めて検証する必要がある。


【自己統治】

目的、評価基準、意思決定権限、ルールの変更手続きそのものを定める問題。本稿では、与えられた目的をよりよく達成する自己改善と区別する。



本稿を素材として対話形式で再構成した記事も、近日中にnoteに掲載予定です。
ご関心を持っていただけましたら、note上でご感想などお聞かせいただけると幸いです。
bottom of page