アルゴリズムと公共圏――社会契約が書き変わる時、私たちの声は届くか [第3回]
- Seo Seungchul
- 1 日前
- 読了時間: 16分
シリーズ: 知新察来
◆今回のピックアップ記事：
Anthropic, "Preparing for AI's economic impact: exploring policy responses"（2025年10月14日）
概要：AI の経済的影響に備えるための9つの政策アイデアを、3段階のシナリオ（軽微／中程度／急速）に分けて整理。外部の経済学者・政策専門家から集めた提案を、Anthropic自身の政策ポジションとは区別して紹介する。
OpenAI, "Industrial Policy for the Intelligence Age: Ideas to Keep People First"（2026年4月）
概要：超知能（superintelligence）への移行期における産業政策のビジョンを、「開かれた経済の構築」と「レジリエントな社会の構築」の二本柱で提示。労働者の発言権、公共富裕ファンド、適応型セーフティネット、AI安全ガバナンスなど包括的な制度設計を提案する。
前回まで、二つの文書の政策提案を読み、それを書いている主体の立ち位置を問いました。今回はもう一つ別の角度から入ります。OpenAIの文書は後半をまるごと「レジリエントな社会の構築」に充てていて、インシデント報告、モデル封じ込め、監査体制、政府利用のガードレールといった具体的な提案が並んでいます。
レジリエンス——撹乱に対して持ちこたえ、回復し、適応する力。この言葉は近年、政策の世界で急速に存在感を増しています。でも富良野とPhronaは、この言葉が照らすものと、この言葉が影に追いやるものの両方を見てみたいと思っています。
第3回：適応か、介入か――レジリエンスの二つの顔
飛行機はなぜ安全になったか
富良野：OpenAIの文書で面白いと思ったのは、AI安全の制度設計を考えるときに、航空安全を参照枠として持ち出しているところなんです。電力、自動車、航空、食品・医薬品。過去の技術が社会に広がるとき、新しいリスクが生まれ、それを管理する制度が後から作られてきた、と。
Phrona：そのリストの中で、航空安全はたぶん最も成功した事例ですよね。飛行機って、仕組み上は信じられないくらい危険なはずなのに、実際には最も安全な移動手段になっている。
富良野：航空業界が安全になった過程で決定的だったのが、ASRS——航空安全報告制度と呼ばれるインシデント報告の仕組みなんです。パイロットや管制官が、事故にはならなかったけれど危なかったケース、いわゆるニアミスを自発的に報告できる制度。
Phrona：なぜ自発的に報告するんですか。自分のミスを報告するのは普通は嫌がりますよね。
富良野：報告者に対する免責保護が制度的に組み込まれているからです。報告したことで処分されないという保証がある。しかも報告の受付はFAA、つまり規制当局ではなく、NASAという別の機関がやっている。規制する側と報告を受け取る側が分離されている。
Phrona：罰する仕組みと学ぶ仕組みを分けている、ということですね。一緒にすると、学びの方が死んでしまう。
富良野：OpenAIの文書は、このモデルをAIにも適用しようとしている。企業がインシデントやニアミスの情報を指定された公的機関に共有する仕組みを作り、「懲罰より学習と予防を重視する」と書いている。
Phrona：しかもニアミスの定義が面白いんですよね。セーフガードが最終的に害を防いだケースでも、モデルが懸念される内部推論を示したり、予期しない能力を見せたりした場合は報告対象に含めている。
富良野：これ、実はかなり新しい発想だと思うんです。航空安全のニアミスは、パイロットの操作ミスとか管制官の指示のずれとか、外から観察可能な出来事。でもAIの場合は、外からは何も起きていないように見えるけれど、システムの内部で気になる推論が走っていた、というケースを捕捉しようとしている。
Phrona：安全管理の対象が、外的な行動から内的なプロセスに拡張されている。
富良野：そう。ただ、航空安全のASRSがうまく機能しているのは、免責保護、匿名化、受付機関の独立性、それから業界全体に根づいた安全文化という、複合的な条件が揃っているからです。AI業界にその条件があるかというと、まだ相当に道のりが長い。
Phrona：特に「受付機関の独立性」の問題は大きいですよね。OpenAIが名前を挙げているCAISI、AI基準イノベーションセンターは、AI産業から本当に独立した判断ができるのか。航空業界でNASAが受付を担っているのは、NASAが航空会社から完全に独立しているから機能しているわけで。
富良野：そこは制度設計の核心です。受付機関の独立性と、十分な技術的知見を持つ人材の確保。この二つを同時に満たすのが本当に難しい。独立していても技術が分からなければ意味がないし、技術に詳しい人はたいていAI企業にいる。
Phrona：認識的非対称性の問題が、ここにも顔を出しますね。「知識を作る場所」の問題と同じ構造。
封じ込めるという発想
富良野：もう一つ、OpenAIの提案の中で目を引いたのが「モデル封じ込めプレイブック」です。危険なAIシステムが世の中に出てしまった後で、それをどう封じ込めるかという計画を事前に作っておく、という発想。
Phrona：「出てしまった後」という前提が、ちょっとぞっとしますね。
富良野：でもこの発想は相当にリアリスティックなんです。モデルの重みが公開されてしまったら回収できない。開発者がアクセス制限を拒否するかもしれない。あるいはシステム自体が自律的に自己複製する能力を持っているかもしれない。そういう事態を具体的に想定して、「完全な封じ込めは無理でも、被害を減らす協調行動はできる」と書いている。
Phrona：パンデミック対応に近い発想ですよね。ウイルスが広がってしまった後で、それを完全に消すことはできないけれど、拡散のスピードを遅らせ、治療法を開発し、社会の機能を維持する。
富良野：まさにその類比を使っている。そして、サイバーセキュリティや公衆衛生の経験から、完全な封じ込めが不可能な場合でも、協調的な行動で影響を有意に低減できるということが分かっている、と。
Phrona：ここは素直に評価すべきところだと思うんです。「万全の防御を作ります」という楽観的な約束ではなくて、「防御が破れた後の世界を想定して備える」という姿勢は、安全を語る上で最も誠実な態度の一つですよね。
富良野：もう一つ興味深い提案が、「インサイダー・キャプチャー」の防止です。フロンティアAI企業のモデルの重みや訓練インフラを、企業内部の特定の個人や派閥が私的に利用することを防ぐ仕組み。
Phrona：普通、キャプチャーというと外部の規制当局が被規制企業に取り込まれるレギュラトリー・キャプチャーを思い浮かべますけど、ここで言っているのは内部からの権力集中ですよね。
富良野：AIシステムの能力が極端に高まった場合、そのシステムへのアクセスと制御を持つ少数の人間が、不均衡な権力を持ち得る。これは従来の企業統治論があまり扱ってこなかった問題で、AIに固有のリスクです。
Phrona：OpenAI自身がまさにこの問題を経験していますよね。取締役会の混乱や、非営利から営利への組織転換。自分たちが直面した問題を制度設計の課題として言語化している、という見方もできる。
富良野：自分が転んだ場所を指さして「ここが危ない」と言っている。それ自体は誠実な態度だと思う。ただ、「なぜ自分がそこで転んだか」の分析まではこの文書には書かれていなくて、そこが一番知りたいところではある。
レジリエンスは誰を守るのか
Phrona：ここまでOpenAIの安全ガバナンスの提案を見てきて、個々の制度設計にはいいアイデアが多いと思うんです。インシデント報告、封じ込めプレイブック、インサイダー・キャプチャーの防止。でも、それを束ねている「レジリエンス」という概念そのものについて、少し立ち止まりたい気持ちがあって。
富良野：レジリエンスという言葉、ここ十数年で政策の世界ですごく広がりましたよね。気候変動、パンデミック、サプライチェーン、サイバーセキュリティ。どの分野でも「レジリエンスを高める」が合言葉みたいになっている。
Phrona：もともとは生態学から来た言葉ですよね。生態系が撹乱を受けたあと、もとの状態に戻る能力。それが社会システムにも転用された。
富良野：生態学者のC.S.ホリングが1970年代に定式化して、その後ウォーカーたちが社会-生態系の理論に発展させた。で、この概念がとても有用であることは間違いないんです。
Phrona：変化に対して硬直的に抵抗するのではなく、柔軟に吸収し、適応する。それは確かに大事な能力ですからね。
富良野：でも、「何に対して」レジリエントであるべきか、という問いと、「誰のために」レジリエンスを高めるのか、という問いが、この概念にはセットで付いてくるはずなのに、しばしば見落とされる。
Phrona：OpenAIの文書で言えば、レジリエントであるべき「撹乱」は何ですか。
富良野：サイバー攻撃、生物学的リスクへの悪用、AIのアラインメント喪失、民主主義の毀損。これらが撹乱として名指しされている。
Phrona：でも、AIの開発と普及そのものは、撹乱としては扱われていないですよね。
富良野：そこなんです。レジリエンスの対象として想定されているのは、AIの「誤用」や「暴走」であって、AIの「正常な運用」がもたらす構造的変化——たとえば大規模な雇用喪失そのもの——は、撹乱ではなく「移行」として語られている。移行は管理するもの、適応するものであって、抵抗したり方向を変えたりするものとしては位置づけられていない。
Phrona：言葉の選び方がすでに政治的ですね。同じ現象を「撹乱」と呼ぶか「移行」と呼ぶかで、対処の仕方がまるで変わる。
富良野：レジリエンス論の批判的な研究者たち——たとえばコーテやナイティンゲール、マッキノンやデリクソンという人たち——が指摘しているのは、まさにこの点です。レジリエンスの言説が、しばしば既存のシステム構造の維持を正当化する機能を果たす。「この撹乱に適応しましょう」という語りは、「この撹乱の原因に介入しましょう」という語りを見えなくする。
Phrona：嵐が来るから屋根を強化しましょう、という話は重要だけど、嵐を起こしているのが誰か、嵐を弱められるのではないか、という問いとは別の話。
富良野：両文書に共通しているのは、まさにこの構造です。AIの発展は所与の「嵐」で、政策は屋根の強化。嵐の強さや方向に介入するという選択肢は、政策のメニューに載っていない。
Phrona：ただ、ここで注意したいのは、その批判が正しいとしても、「じゃあ嵐を止めよう」が直ちに実行可能な代替案になるわけではない、ということですよね。前にも話しましたけど、時間スケールの問題や安全保障のジレンマがある。
富良野：そう。だからこれは二項対立じゃないと思うんです。「適応か、介入か」という問い方自体が不毛で、両方が必要。レジリエンスを高めること自体は正しい。問題は、レジリエンスだけで十分だと考えること、レジリエンスが唯一のモードになることです。
Phrona：レジリエンスの語りが危険になるのは、それが「変化を受け入れるしかない」という諦念の美しい言い換えになるときですよね。柔軟に適応する、としなやかに諦める、は紙一重。
富良野：そこがこの概念の厄介なところです。レジリエンスは受動性にも能動性にも開かれている。同じ言葉が「打たれ強くなろう」にも「変わり続けよう」にもなる。
Phrona：でも富良野さん自身は、レジリエンスを捨てるべきだとは思っていないですよね。
富良野：全然思っていません。OpenAIのインシデント報告制度も、封じ込めプレイブックも、適応型セーフティネットも、どれもレジリエンスの具体的な制度化として非常に価値がある。問題は、レジリエンスという名のもとに何が視野に入り、何が視野の外に置かれるかに自覚的であるべきだ、という話です。
Phrona：「適応」のモードと「介入」のモードが、政策の中に共存していること。どちらかではなく、どちらも。その配分をどう決めるか、が本来は政治的に議論されるべき問い。
壊れやすさを認めるところから
Phrona：レジリエンスにはもう一つの側面がありますよね。単に「もとに戻る」力ではなくて、撹乱を契機にシステムそのものがより良い形に変わる可能性。
富良野：変容的レジリエンスと呼ばれるものですね。壊れたところをただ直すのではなく、壊れ方から何かを学んで、壊れる前よりもいい形に組み替える。
Phrona：OpenAIの適応型セーフティネットには、その萌芽がある気がするんです。閾値を超えたら自動的にセーフティネットが拡充されて、状況が安定したらフェーズアウトする。これは単なる衝撃吸収ではなくて、「何が壊れたか」のリアルタイムな情報が制度にフィードバックされる仕組みになっている。
富良野：フィードバックの制度化、というのは大事なキーワードですね。航空安全のASRSが優れているのも、ニアミス情報が蓄積されて、それがシステム全体の改善に結びつくフィードバックループがあるからで。
Phrona：でも、変容的レジリエンスの話をするときに避けられない問いがありますよね。「どの方向に変容するのか」を誰が決めるのか、という問い。
富良野：そこに全部が収斂しますよね。壊れた後でより良い形に変わる、と言うとき、「より良い」を定義する権限が誰にあるのか。
Phrona：OpenAIの文書は「民主的プロセスを通じて」と書いていますけど、民主的プロセスの具体的な中身は、ほとんど描かれていない。「パブリック・インプット」の仕組みを作る、とは言っているけれど、それが住民投票なのか、市民パネルなのか、パブリックコメントなのか、まだ輪郭がない。
富良野：輪郭がないこと自体は、この時点では仕方ないと思います。問題は、その輪郭を誰が描くのか、という次の問いで。
Phrona：ここで面白い逆転が起きませんか。レジリエンスを高めるための制度設計——インシデント報告、監査、封じ込め——は、どれも「技術が社会に与えるリスクにどう対処するか」という問いへの答えですよね。でもその制度設計のプロセス自体にもレジリエンスが必要なんじゃないか、と思うんです。
富良野：制度設計のレジリエンス。
Phrona：制度を作った後で、それがうまく機能していないことが分かったとき、修正できるかどうか。状況が変わったとき、制度が自分を書き換えられるかどうか。一度作った閾値を、経験に基づいて改定する仕組みがあるかどうか。
富良野：そこまで行くと、制度そのものが学習する能力の話になりますね。固定的なルールではなく、自己修正能力を持つ制度。
Phrona：両文書が提案している個別の制度には、そのフィードバック機能を内蔵しているものもあります。適応型セーフティネットの閾値の話がそうだし、インシデント報告制度もそう。でも、制度全体のアーキテクチャ——どの制度をどう組み合わせ、どう修正していくか——を設計し、修正する能力は、どこに宿るんでしょうね。
富良野：それは深掘りの価値がある問いですね。一つだけ言えるのは、その能力は一つの主体に宿るものじゃないだろう、ということです。AI企業だけでも、政府だけでも、専門家だけでも足りない。
Phrona：複数の主体が関わって、互いに学び合いながら、制度を一緒に育てていく。言うのは簡単ですけどね。
富良野：壊れやすさを認めるところから始める。完璧な制度は作れないと認めた上で、壊れたときに直せる仕組みを組み込んでおく。レジリエンスの本当の意味って、たぶんそこにある。
ポイント整理
航空安全モデルのAIへの転用とその条件
OpenAIが提案するインシデント報告制度は、航空安全のASRSを参照枠としている。ASRSが機能するのは免責保護・匿名化・受付機関の独立性・安全文化という複合的条件が揃っているから。AI分野でこれらを満たすには、とりわけ受付機関の独立性と技術的知見の確保の両立が課題となる。
内的プロセスへの安全管理の拡張
AIのニアミス報告の対象に「モデルの懸念される内部推論」が含まれていることは、安全管理の範囲が外的行動から内的プロセスへと拡張されることを意味する。これはガバナンス論にとって新しい領域であり、AIの解釈可能性の進展と連動する。
封じ込めプレイブックの現実主義
回収不能なAIシステムへの事後的対処を具体的に構想する姿勢は、安全を語る上で最も誠実な態度の一つ。パンデミック対応やサイバーセキュリティの経験に基づき、完全封じ込めが不可能でも協調行動で被害を低減できるという知見を転用している。
インサイダー・キャプチャーという新しいリスク類型
外部規制者の取り込み（レギュラトリー・キャプチャー）とは異なり、AI企業の内部者がシステムへのアクセスを通じて不均衡な権力を持つリスク。従来の企業統治論が十分に扱ってこなかった、AIに固有のガバナンス課題。
レジリエンス概念の両義性
レジリエンスは変化への柔軟な適応を促す有用な概念であると同時に、「撹乱に適応する」という語りが「撹乱の原因に介入する」という選択肢を見えなくするリスクを持つ。両文書に共通して、AIの発展そのものは「撹乱」ではなく「移行」として位置づけられており、方向やペースへの介入は政策メニューに含まれていない。
適応と介入の共存
「適応か介入か」は二項対立ではなく、両方が必要。問題はレジリエンスが唯一のモードになること。適応と介入の配分をどう決めるかという問い自体が、政治的に開かれた討議の対象であるべき。
変容的レジリエンスと制度の自己修正能力
撹乱からの回復だけでなく、撹乱を通じてシステムがより良い形に変わる「変容的レジリエンス」の概念。適応型セーフティネットやインシデント報告にはフィードバック機能が内蔵されているが、制度全体のアーキテクチャを修正する能力をどこに宿らせるかは未解決の問い。
キーワード解説
【ASRS（Aviation Safety Reporting System / 航空安全報告制度）】
アメリカで1976年から運用されている、パイロット・管制官などが航空安全に関するインシデントやニアミスを自発的に報告できる制度。受付はNASAが担当し、規制当局（FAA）から独立している。報告者には免責保護が与えられる。この「罰する仕組みと学ぶ仕組みの分離」が制度の核心であり、航空を最も安全な移動手段にした制度的要因の一つ。
【高信頼性組織（High Reliability Organization / HRO）】
航空管制、原子力発電、海軍空母の運用など、事故が許されない環境で高い安全水準を維持している組織。共通する特徴として、失敗への敏感さ、単純化への抵抗、現場の専門知の尊重、レジリエンスへの注力、権限の柔軟な委譲が挙げられる。AIの安全ガバナンスの参照モデルとして注目されている。
【インサイダー・キャプチャー（Insider Capture）】
AI企業の内部にいる個人や派閥が、AIシステムへのアクセスや制御を通じて不均衡な権力を行使するリスク。外部の規制当局が被規制企業に取り込まれるレギュラトリー・キャプチャーとは異なり、組織内部からの権力集中を指す。モデルの重み・訓練インフラのセキュリティ確保、操作的行動の監査、高リスク展開の監視などが対策として提案されている。
【レジリエンス（Resilience）】
もともと生態学でシステムが撹乱を受けた後に回復する能力を指した概念。社会科学に転用され、社会システムが危機に対して吸収・適応・変容する能力として広く使われている。有用な概念である一方、批判的研究者からは「既存構造の維持を正当化し、撹乱の原因への介入を見えなくする」機能を持ち得ると指摘されている。
【変容的レジリエンス（Transformative Resilience）】
撹乱から単に回復するのではなく、撹乱を契機にシステムそのものがより良い形へ変わること。適応的レジリエンス（元に戻る力）と区別して使われる。フィードバックの制度化——壊れたところから学び、制度を改善するループを組み込むこと——がその核心にある。
【モデル封じ込めプレイブック（Model-Containment Playbook）】
危険なAIシステムが回収不能な形で社会に放出されたあと、被害を最小化するための協調的対処計画。モデルの重みの公開、開発者の対応拒否、自律的自己複製といったシナリオを想定する。パンデミック対応やサイバーセキュリティの経験を参照し、完全封じ込めが不可能でも協調行動で影響を低減できるという現実主義に立つ。
【CAISI（Center for AI Standards and Innovation / AI基準イノベーションセンター）】
OpenAIの文書で言及されている、フロンティアAIリスクの監査基準を策定する機関。国家安全保障機関と連携し、国際的な標準化の基盤となることが期待されている。監査体制の実効性は、この機関がAI産業からどの程度独立した判断を行えるかに依存する。
【フィードバックの制度化（Institutionalized Feedback）】
制度の運用結果を継続的にモニタリングし、その情報を制度の修正に活用する仕組みを制度自体に組み込むこと。適応型セーフティネットのトリガーメカニズムやインシデント報告制度は、この概念の具体的な実装例。制度が「学習する能力」を持つかどうかが、変容的レジリエンスの条件となる。