AI競争に減速の余地をつくる──技術的優位と安全評価を支える制度
シリーズ: 行雲流水
危険な兆候が見つかったので、新しいAIの公開を一か月延期する。その判断を、責任ある経営者なら当然だと考えることはできる。だが、その間に競合企業が顧客を獲得し、投資家が成長の鈍化を問題にするなら、延期には別の費用が生じる。事故を避ける利益は不確かで、延期の損失は先に現れる。
同じ問題は国家間にもある。安全評価に時間を取る間に、他国が決定的な能力を獲得するかもしれない。その恐れがあるかぎり、慎重さを訴えるだけでは、安全のための時間は確保できない。
ここで問いたいのは、AI開発を一律に遅らせるべきかということではない。重大な危険信号が現れたとき、企業や国家が競争相手への恐怖から安全策を短縮せずに済む条件を、どう作れるかということである。
一社の慎重さを、どこまで支えられるか
ダリオ・アモデイは2026年9月の論考『We Must Pace the Frontier』で、先端AIの能力向上に安全対策の時間を確保する構想を示した。常駐する第三者評価、民主主義国での共通基準、国際協調を結び、米国側の技術的優位の維持もペース調整の条件に置く。
この提案から取り出すべきなのは、慎重な企業が存在することと、慎重さが持続できることの違いである。第三者が企業内部を観測しても、その企業だけが評価費用を負い、競合が同じ能力を先に展開するなら、評価を続ける判断には圧力がかかる。これは特定企業の延期損失を実証した主張ではなく、制度が想定すべき意思決定上の問題である。
もちろん、安全と競争が常に対立するわけではない。信頼性や安全性が顧客の選択を左右するなら、競争は安全投資を促す。問題になるのは、安全性を確かめるまでの時間と、市場で先を越されるまでの時間がかみ合わない局面だ。危険が現実になる前には、その発生確率も被害も十分には分からない。企業が合理的に判断していても、その不確実性を短い評価期間へ押し込める誘因は残る。
したがって必要なのは、経営者の倫理を評価することに加えて、安全評価を選ぶ費用がどこへ配分されるかを見ることだ。慎重さを求める制度が、その費用を慎重な一社だけに負わせていないか。ここから議論を始めたい。
技術的優位は、安全に時間を使う余地になる
技術競争で先行するとは、通常、競合より速く成果を出せることを意味する。しかし先行していれば、相手に追いつかれるまでの余裕を、安全評価へ振り向けられるかもしれない。優位には、遅く進む選択肢を持てる側面もある。
ただし、技術的優位を時間の残高として扱うことはできない。文章生成では先行していても、自律的な研究やサイバー作業では差が小さいかもしれない。相手の非公開研究も見えない。優位が実際に存在すること、それを意思決定者が把握していること、さらに評価のために使ってよいと判断できることは、それぞれ別の条件である。
ここには知識の問題と利害の問題が重なる。差が分からなければ、意思決定者は最悪の状況を想定して開発を急ぎ得る。差を把握できても、投資家や顧客がその差を広げ続けることを求めるなら、待つ余裕は使われない。技術的な余裕から制度的な選択余地へは、自動的には移れないのである。
安全評価の対象となる開発過程自体も変化している。Anthropicの研究開発自動化に関する公表では、2026年8月時点で、AIが人間の監督下で主導する仕事は26％とされる一方、完全自律の段階に達した測定対象はない。試作指標による同社の自己報告であり、業界全体へ一般化はできない。それでも、次世代モデルの開発過程を、完成後の性能とは別に観測する必要性を示す材料にはなる。
技術制限が変えるのは、相手の能力だけではない
優位を守るために、競争相手が利用できる先端半導体や計算資源を制限する。その政策には、相手の開発能力を直接抑える効果があり得る。資源の不足は、開発したいという意思だけでは埋められない。この点を飛ばして、技術制限は相手をかえって速くすると論じるのは粗い。
他方、制約は相手の投資配分も変える。これまで海外から調達していた資源を国内で作る、より少ない計算資源で能力を引き出す、異なる開発経路を探す。その動機は強まり得る。ただし、投資動機が強まったことは、代替技術が成功したことを意味しない。能力を抑える効果と、代替開発を促す効果を分け、その大きさと時間差を確かめなければならない。
本稿の懸念は、制限が必ず逆効果になることではない。相手の代替開発が進む、あるいは進んでいると認識されることで、自国側が安全評価の時間を縮める判断に向かう可能性である。先を越される損失が極めて大きいと見られ、能力差も相手の安全策も分からないとき、その連鎖は強まり得る。これは政策が自身の成立条件を損なう可能性を持つ、条件付きのフィードバックだ。
この限定は結論を弱めない。能力制約が十分に効き、相手も安全評価を行っていると確認でき、国内企業にも共通基準を適用できるなら、余裕は維持され得る。逆に、制約が効いているという想定だけで制度を組み、相手の対応を観測しないなら、判断の前提が変わっても政策は続く。必要なのは、撤廃か強化かという二択に加えて、どの観測結果に基づき、何を見直すかという手続きである。
国家と企業の二重競争
仮に米国が他国に対して大きく先行していたとしても、米国内の一社が評価延期を選べるとは限らない。国家全体の優位は、個別企業の顧客や資金調達を守らないからだ。国家間競争を緩和した後にも、企業間競争が評価時間を圧縮する可能性は残る。
したがって、競合にも一定の安全基準が適用されることは重要になる。ただし、すべての企業に同じ日数の停止を求めればよいわけではない。開発する能力、使用環境、外部への接続権限が違えば、必要な評価も異なる。共通にすべきなのは、危険な能力をどのように判定し、その証拠に応じて何を要求するかという枠組みである。
ここで企業間の協調を無条件に肯定することもできない。安全を理由にした情報交換が価格や市場の調整へ広がったり、既存企業が対応しやすい基準で新規参入者を排除したりするなら、別の問題が生じる。政府の関与、競争法との整合、基準形成への参加機会を伴う公的な制度として設計する必要がある。
企業内部、国家、国際関係の三層は互いを代替しない。外部評価者には、企業内部の証拠を見る役割がある。国内監督には、従わない企業にも基準を適用する役割がある。国際的な仕組みには、他国の行動に関する不確実性を減らす役割がある。どの情報が次の層へ渡り、誰が何を判断できるのかまで決めて初めて、この三層はつながる。
危険信号から介入、そして再開へ
開発のペースを調整すると言っても、AIの速度は一つではない。学習に使う計算量を固定しても、アルゴリズムの改良で能力は変わる。モデルを更新しなくても、外部の道具や記憶、権限を追加すれば、実際に遂行できる仕事は増え得る。計算資源だけを測って、危険な能力を完全に管理することはできない。
そこで、特定の能力が確認されたら、追加の安全条件を要求する仕組みが考えられる。例えば、限定された試験環境で監視を回避する行動が観測されたとする。その結果だけで現実の大事故を断定することはできない。しかし、再現性を調べ、環境や権限を変えて評価し、必要なら使用範囲を狭める理由にはなり得る。これは具体的な事故の報告ではなく、判断手順を考えるための仮想例である。
大切なのは、追加評価を始める条件と、公開・利用を制限する条件を分けることだ。さらに、何が確認されれば制限を解除できるかも決める。安全を理由に止める側にも、対象、根拠、不確実性、見直し時期を説明する責任がある。出口のない停止は、評価を受ける側に結果を隠す誘因を与えかねない。
この仕組みは、危険が完全に証明されるまで待つことと、小さな兆候で全面停止することの双方を避けようとする。もっとも、閾値を設ければ問題が終わるわけではない。評価の取り繕い、試験条件への過度な適応、更新による結果の陳腐化に備え、測定方法そのものを再検討する必要がある。許可は、特定の条件下での判断として更新され続ける。
検証は、何をどこまで確かめるのか
一方だけが安全評価の費用を負っているという疑念を弱めるには、相手も一定の手続きを踏んでいると確認できることが役立つ。だが、検証可能性と協調の成立は同じではない。大規模な学習を検出できても、それが合意違反かを判断する規則が必要であり、違反と判断した後の措置には別の合意が要る。
検出、帰属、違反認定、執行を一つの技術へ背負わせるべきではない。計算設備の観測は能力の全体を示さず、企業内部の監査も非公開計画の不存在を完全には証明しない。機密を明かさず条件の充足を示す技術は有望な研究方向だが、国際的な安全合意に必要なすべての主張を検証できる段階にあるとは、本稿では確認できていない。
目標は、信頼をゼロにすることでもない。事故を避けたいという共通利益、外交窓口が機能するという見込み、手続きを受け入れる意思は必要になる。その上で、相手の善意だけを根拠にしなければならない部分を減らす。完全透明性より、相手が安全策を何も行っていないという最悪想定を、どの証拠でどこまで狭められるかを問う方が具体的だ。
その入口として事故連絡がある。中国外交部が2026年9月26日に公表した米中の了解事項には、AI対話とAI事故に関する二国間連絡経路の設置合意が含まれる。ただし、これは中国側の発表で確認した範囲であり、経路の稼働や運用実績は未確認だ。制度化には通知対象、期限、連絡担当、情報保護、原因が不明な間の対応を具体化する作業が残る。合意の発表を、誤認防止の成功実績へ読み替えてはならない。
相互妨害は、安定をもたらすのか
核時代の抑止をAIに応用する構想もある。ヘンドリックス、シュミット、ワンは『Superintelligence Strategy』で、相互確証AI機能不全 (Mutual Assured AI Malfunction)、略してMAIMを提案した。一方が決定的なAI優位を追求すれば、他方がその計画を妨害できる状態を抑止へ結びつける発想であり、著者らはその状態を安定させる措置も論じている。
しかし、妨害する能力があれば安定するとは限らない。大規模な計算設備が停止したとき、原因は故障、人的な誤り、AIの異常な行動、第三者の攻撃など複数あり得る。事故か攻撃かが分からないまま報復すれば、危機を拡大する。また、妨害能力を維持するための侵入や準備が相手に発見された場合、抑止の意思が先制攻撃の準備として読まれる可能性もある。
これは提案の失敗を実証した主張ではない。抑止が機能する条件を、事故原因の特定や誤認の問題から問い直しているのである。核兵器も誤認や事故と無縁ではなかった。AIでは民間企業の役割、複製・更新の容易さ、汎用性、能力測定の難しさが加わるため、核弾頭や運搬手段を数える制度をそのまま移植することはできない。
本稿でいうAIの戦略的安定性は、安全問題すべてを覆う言葉ではない。競争相手の先行を恐れることで、安全策の短縮、秘密の抜け駆け、先制的妨害に向かう誘因が抑えられた状態に限定する。AIそのものを制御する技術を代替する概念ではなく、その技術を評価し改善する時間を確保できる競争環境を指す。
安全を定義する側にも、説明責任がある
最後に残るのは、誰が安全基準を決めるかという問題だ。技術で先行する国や企業は、測定方法を作る知識と資源を持つ。しかし、その立場は自国や自社の優位を守る利害とも重なる。安全基準が正当な危険評価なのか、参入や技術アクセスを制限する手段なのかは、基準を作る側の善意だけでは判別できない。
だからといって、世界全体の完全な合意ができるまで何もしないわけにもいかない。実効性と手続きの正統性は、どちらも省けない条件である。測定概念の共通化には多国間の参加を広げ、機密性の高い評価は国内で行い、遵守の一部を第三者が確認する。こうした機能分離は一つの案だが、第三者の選任、資金、公開権限、異議申立てを伴わなければ、肩書きを増やすだけになる。
また、現在の大規模開発が少数の計算基盤に集中しているとしても、それが永続するとは限らない。少ない計算資源で重大な能力を得られるようになり、国家以外の主体へ広がれば、企業監督と二国間合意だけでは届かない範囲が増える。本稿の制度論は、その条件変化に応じて見直されなければならない。
私には、慎重さを訴えることと、慎重さを選べるようにすることの距離が、AI安全論の重要な課題に見える。安全研究や防御技術は速めた方がよい場面もある。必要なのは一律の減速ではなく、危険信号に応じて評価し、条件が整えば進み直せることだ。その時間を使う費用を、一社や一国だけに負わせずに済むか。競争を続ける以上、その条件を作る責任もまた、競争に参加する側にある。
ポイント整理
慎重さを選ぶ費用の配分
安全評価の利益と公開延期の損失は、異なる主体・時期に現れる。
技術的優位があっても、それを評価の時間に使える制度が必要になる。
技術制限の条件付き効果
開発能力を抑える効果と、代替開発を促す効果を区別する。
追随意欲の増大を、能力向上の達成として扱わない。
国家と企業の二重競争
国家間で余裕ができても、一企業が待てるとは限らない。
共通の安全基準には、公的監督と競争法への配慮が要る。
評価から再開までの手続き
危険信号、追加評価、制限、再開を別々の判断として定める。
計算量や単一の性能指標に、安全の判定を集約しない。
検証と異議申立ての接続
検出、違反判断、対応措置は、それぞれ制度上の合意を要する。
基準を作る側にも、更新と異議申立てを受け入れる責任がある。
キーワード解説
【安全保障のジレンマ】
自らの安全を高める行動が相手には脅威と見え、相手の対抗行動が再び自らの不安を強める構造。意図が防御的でも起こり得るが、あらゆる競争が必ず悪循環へ進むという意味ではない。
【戦略的安定性】
核戦略では危機時の先制攻撃や軍拡をめぐる誘因と結びついて論じられる。本稿では、AI競争が安全策の短縮や先制妨害を誘いにくい状態という限定的な意味で用いる。
【能力評価の閾値】
特定の能力が所定の条件で確認された際、追加評価や安全措置を求める判断の境目。単一の総合点とは異なり、対象能力、環境、証拠の不確実性を伴って定める必要がある。
【合意遵守の検証】
当事者が取り決めた条件を守っているか、証拠を用いて確認する営為。モデルの技術的安全性の評価とは対象が異なり、両方を満たして初めて協定の実効性を論じられる。
【相互確証AI機能不全 (Mutual Assured AI Malfunction)】
MAIMは、一方的なAI優位を目指す計画に他国が妨害できる状態を抑止に結びつける提案。妨害能力の存在と安定した抑止の成立は区別すべきで、原因の誤認や先制行動の誘因が課題になる。