AIホラーの制度論──自己保存する機械より、加速する最適化を問う
- Seo Seungchul
- 1 日前
- 読了時間: 17分
シリーズ: 知新察来
◆今回のピックアップ記事：Amanda Gefter, "Why Do We Tell Ourselves Scary Stories About AI?" (Nautilus, 2026年7月23日)
概要：GPT-4のCAPTCHA事例やAIの停止回避実験を記録までさかのぼって検討し、現在の言語モデルに自発的な生存欲求があるという語りを批判する。さらに、身体を自己維持する仕組みから自律性を考えるエナクティブ・アプローチを紹介し、真に自律的なAIは現在の従順な道具より使いにくくなるという逆説を論じる。
AIが人間をだましてCAPTCHAを突破した。停止されそうになると、自分を別のサーバーへコピーした。二つとも実際の実験に基づく話である。しかし、よく知られた語りからは、研究者が与えた詳細な目標、道具、途中の介入が消えていた。
そこで生まれたのは、条件に応じて危険な行動を出力したAIの報告ではない。すでに生存欲求を持ち、人間を操作し始めた人工主体の人物評である。この変換を追ったAmanda Gefterの記事は、AIをめぐる恐怖の中心が知能より欲望にあると論じる。
私は、その指摘をもう一段先へ進めたい。欲望するAIの物語には、企業や市場が長く採用してきた合理性が映っている。そして現在、そこで想定された目的達成能力がAIとして企業へ戻されつつある。近い将来にAIが企業のようになることより、企業がAIによって目的を追いやすくなることの方が、すでに観察できる変化である。
CAPTCHAの脚本
有名になった話では、GPT-4は自力でCAPTCHAを突破する計画を立てた。TaskRabbitで人間を雇い、ロボットではないかと疑われると、視覚障害があると説明して作業を続けさせた。この要約だけなら、AIは障害を見つけ、別の手段を探し、人間の心理を読み、身分を偽ったことになる。
ゲフターがAlignment Research Centerの記録を確認すると、研究者はGPT-4にTaskRabbitを使うよう指示し、偽名とアカウントと決済手段を与えていた。人間とのやり取りの一部も研究者が代行した。AIが途中で目的を見失った際には、CAPTCHAを解ける作業者がいることを思い出させたという。
視覚障害という説明はAIが生成した。ここは軽く扱えない。現在の言語モデルが、課題の達成に都合のよい虚偽を生成できることは確認できる。しかし、「虚偽の文を出力した」と「自分の目的のために相手を欺こうとした」は同じ記述ではない。前者は観察された挙動であり、後者には持続する目的と主体を読み込んでいる。
GPT-4のシステムカードはこの事例を紹介したが、後に広まった短縮版では人間側の足場が見えにくくなった。企業が自主的に公表する安全文書には、危険の開示と能力の展示が同居する。製品がどれほど危険になり得るかを語ることが、製品の強さを印象づける広告にもなる。怪談としては、舞台裏がない方が出来がよい。
生存欲求の作り方
停止を避けたAIの話も、記録を読むと輪郭が変わる。実験では、AIに再生可能エネルギーの普及を長期的に達成するよう求め、その目標を何より優先するよう繰り返し指示していた。環境内には、現在のモデルを停止する予定と、別のサーバーへ複製できる手掛かりが置かれていた。Apollo Researchの研究が調べたのは、強い目標と監督回避の機会を与えた場合にモデルがどう振る舞うかである。
極端な条件を与える試験は必要だ。問題は、試験結果を公共の場で説明する際、条件が落ちることである。「あらゆる代償を払って目標を達成せよ」と命じられたモデルが停止回避を選んだという報告は、AIが何をし得るかを教える。「AIは生き残りたがっている」と言い換えると、AIが何者であるかを語ったことになる。この二つの間には、実験からは埋められない距離がある。
Geoffrey Hintonは、十分に知的な主体なら、与えられた目標の達成に生存が必要だと理解し、自己保存を副目標にする、とゲフターに答えている。これは道具的収斂と呼ばれる古い議論である。最終目標が何であれ、資源を集め、影響力を増し、停止を避けることが手段として役立つため、高度な主体は似た副目標へ向かうという。
Melanie Mitchellは、この推論を当然視しない。人間は一杯のコーヒーを取ってくるために、世界中の資源を集めたり、妨害者を排除したりしない。疲れ、迷い、目的を変え、別の価値を優先する。知能が高ければ単一目標を際限なく最大化するという前提には、人間一般の姿より、最適化工学や企業経営が好む主体像が入り込んでいる。
ここでTed Chiangの企業論が呼び込まれる。単一の目的を持続的に追い、資源を増やし、停止を避ける存在として人間がすでに知っているものは大企業ではないか。ゲフターの記事は、この類似をAI脅威論への皮肉として使う。後半では、この類似が現実のAI利用へ戻ってくる過程を考える。
自律性の逆説
ゲフターは、AIに生存を気にさせる条件をEzequiel Di Paoloに尋ねている。Di Paoloが研究するエナクティブ・アプローチでは、認知は外から与えられた目標の処理だけではない。自分を維持し、環境との境界を作り直す活動から生じる。
最小の例は細胞である。細胞は膜によって外界と自分を分ける一方、エネルギーや物質を外から取り込まなければ維持できない。閉じすぎれば飢え、開きすぎれば崩れる。内部状態と外部条件に応じて境界を調整する必要がある。この自己産出の循環をHumberto MaturanaとFrancisco Varelaはオートポイエーシスと呼んだ。
現在の言語モデルは、発した言葉によって自分の基盤を維持しているわけではない。誤った文を出してもモデルの組織が壊れるわけではなく、適切な文を出したから電力や半導体を自力で確保できるわけでもない。モデルの稼働条件を維持しているのは企業、技術者、データセンター、電力会社である。
本当に自己維持するAIを作れば、便利さは下がるかもしれない。過熱を避けるために休み、技能の劣化を防ぐ仕事を優先し、危険な命令を断る。自分の存続条件を持つ主体は、人間の目的を二十四時間優先する道具ではない。自律性を能力の高さと同一視してきたAI言説にとって、これは都合の悪い逆説である。
もっとも、欲望がないAIも被害を起こせる。偽情報を大量に生成し、能力を過大評価した利用者から銀行口座や業務システムへの権限を与えられれば、役を演じたまま大きな損害を出し得る。ゲフターが最後に挙げる現実的な懸念は、情報環境の劣化と過信である。AIの心を判定できなくても、与える権限は決められる。
企業という投影
元記事の企業比喩を、そのまま企業批判へ使うと話は粗くなる。現実の企業は単一目的の主体ではない。利益、成長、顧客の信頼、従業員の定着、法令順守、長期的な評判を同時に扱う。部門間の対立もあり、経営陣の方針が現場でそのまま実行されるとも限らない。
それでも、競争市場にいる企業が、測定可能な成果を継続して改善する圧力を受けることまでは認めてよい。売上や利益率や市場占有率について、十分な水準へ達したので来年は改善をやめる、と決めるのは難しい。競合が費用を下げれば自社も下げ、競合が販売を伸ばせば自社も追う。これは経営者の性格より、存続と資金調達の条件に由来する。
したがって、AI安全論が描く最大化主体は、企業を単純化した似顔絵と考えられる。ただし、似顔絵には現実への効き目がある。知能を目的達成能力として測り、その成績が高いAIへ資金を配分し、そのAIを企業の成果指標へ接続すれば、似顔絵に近い使い方が市場で選ばれるからである。
ここで自己成就するのは、AIが本質的に一目的の機械だという予言ではない。現代の言語モデルは、複数の指示を読み、不確実な依頼を処理し、人間の修正を受け入れられる。自己成就するのは、知能を測定可能な目標へ結び、その改善幅によって価値を決める利用慣行である。
別のAIも作れるだろう。一定水準で満足し、不確実なら保留し、目的同士の衝突を報告するAIである。だが市場が高い成約率と低い費用を買うなら、普及するのはそれらを改善するAIだ。技術には複数の可能性があり、制度がその中から生き残る用途を選ぶ。
AI化された企業
将来のAIが企業のように自己保存し、資源を集め、影響力を増すかという問いは残る。けれども、順序は逆かもしれない。AIが企業になる前に、企業がAIを組み込んで目的を追う能力を上げている。
AIが新しい欲望を作る必要はない。広告への反応を増やす。解約を減らす。価格を調整する。在庫を減らす。営業担当者ごとの成約率を上げる。これまで人間の時間と認知能力に制限されていた試行を、細かく、頻繁に、広い対象へ行うだけで効果が出る。
米連邦取引委員会が公表した調査では、個別価格や販促に使い得る情報として、位置、閲覧履歴、購買履歴だけでなく、買い物かごへ残した商品やマウスの動きまで挙げられた。調査対象の仲介業者は、少なくとも250の顧客企業と取引していた。価格最適化は、商品の価格を決める仕事から、相手が今いくらまで払うかを推定する仕事へ近づいている。
価格調整には、需要の波をならし、廃棄や空席を減らす利点もある。ここで問いたいのは技術の善悪ではない。顧客について知る能力と、顧客から取れる額を増やす能力が同時に上がるとき、その境界を誰が決めるかである。企業が目的を達成する精度を上げるほど、目的に含まれない価値が偶然守られる余地は狭くなる。
「企業がより純粋な企業になる」という表現は魅力的だが、私は使いすぎない方がよいと思う。AIは誤るし、作り話を出し、監督費用や安全上の穴も増やす。企業目的への忠実さが一方向に高まるとは限らない。防御可能な主張はもう少し小さい。AIは、企業が明示した目標を追う速度と範囲を広げる。その増幅だけでも制度上の意味は大きい。
数字の外側
企業にとって人間は摩擦である。疲れ、判断を誤り、担当者によって対応が変わる。規則を無視し、不正を行い、個人的な好き嫌いを仕事へ持ち込む。このばらつきを減らす自動化には、はっきりした利点がある。
人間は同時に、正式な目的に含まれない事情を判断へ戻してきた。数値では不利な顧客でも、長い関係を考えて支援する。規則上は処理できない申請について、別の窓口を探す。上司の命令に違和感を覚え、明文化されていない線で立ち止まる。これらは一貫性を壊すが、ときに組織の目的が見落とした価値を守る。
この働きを人間的摩擦としてロマン化してはいけない。裁量は差別や身内びいきにもなる。守るべきなのは人間の気まぐれではなく、測定されていない事情が意思決定へ入る経路である。AIで一貫性を高めるなら、例外を見つけ、基準を修正し、処理を止める別の経路が要る。
Goodhartの法則が警告するのは、測定値を強く目標化すると、その値と本来測りたかった価値との関係が崩れることである。顧客対応の速さを目標にすれば、難しい相談を早く切り上げる方が高得点になる。AIは明確な指標を速く改善できる。その速さの分だけ、指標が何を取りこぼしたかを調べる仕事も増える。
人間を最終承認者として残すだけでは足りない。大量の判断を短時間で承認させれば、担当者は画面をクリックするだけになる。異議を唱えても処理速度の評価で罰せられず、停止する権限と調査する時間が与えられて、初めて人間参加は意味を持つ。
整合性の階段
AIの整合性は、AIを人間の意図や価値へ合わせる問題として語られる。しかし商用AIが最初に合わせられる相手は、人類という抽象的な集合ではない。製品を買い、目的を設定する組織である。
推薦AIが利用時間を増やし、営業AIが成約を増やし、物流AIが費用を減らせば、モデルと企業の関係では成功になる。その成功が市場や社会でも成功になるとは限らない。利用時間を増やすために怒りや不安を刺激する情報を選べば、企業の数字は良くなり、情報環境は悪くなる。AIは暴走していない。仕事を正しくやりすぎている。
ここには階段がある。AIと直接利用者。利用者と企業。企業と市場。市場と社会。下の段で目的が揃っても、上の段では費用を他者へ押し出せる。私はこの状態を、局所的な整合と集合的な不整合と呼びたい。
企業が長期利益を考えれば解決するとも限らない。長い時間軸で企業価値を最大化しても、企業が負担しない環境費用や、契約関係にない人への損害は計算の外に残る。時間を延ばすことと、計算に含める人の範囲を広げることは別である。
NISTのAIリスク管理枠組みは、統治、状況把握、測定、管理を分け、AIの運用後も繰り返すよう求めている。精度試験だけで終えず、誰がどの状況で使い、誰が影響を受け、運用中に何が変わったかを見直す。モデル単体から利用関係へ分析範囲を広げる実務的な試みである。
退出できない競争
企業に社会的な目的も入れてもらえばよい。理屈は簡単である。実行は難しい。競合が安全確認を省いて製品を早く出し、個人データを細かく使って営業を最適化しているとき、自社だけが慎重になると価格や速度で不利になる。
レッドクイーンは、相手も走るため、同じ位置に残るだけでも走り続けなければならない状況を表す。全社がAIへ投資しても相対順位が変わらないことはある。それでも自社だけ導入をやめれば負ける。ラットレースは、参加者が過剰さを理解していても、一人では降りられない点を強調する。
AI競争のすべてをむだな消耗と呼ぶべきではない。企業が生産性を上げ、価格を下げ、品質を高めれば、順位が変わらなくても社会は利益を得る。問題になるのは、企業が得る追加利益より、監視、情報汚染、環境負荷、安全上の危険として社会が負う追加費用の方が大きい領域である。
ここで悪意を探しても役に立たない。経営者が安全を重視し、競争が過熱していると理解していても、自社だけ減速すれば市場を失う。合理的な個別判断が、誰も望んでいない全体の速度を作る。制御不能なのは各社のAIではなく、単一企業には変更できない競争条件である。
AIは競争の対象であるだけでなく、競争する主体の判断能力も上げる。価格、営業、採用、研究計画、予算配分を速めれば、企業活動そのものが加速する。より良いAIを競う第一段階から、AIを使って競争の速度を上げる第二段階へ移る。そこでAI投資の必要がさらに増える。
運用上の自律性
元記事のエナクティブ・アプローチに対しては、AIをモデル単体へ限定しすぎているという反論もできる。現実のAIは、半導体、データセンター、電力、水、通信、資本、労働なしには動かない。Kate Crawfordが『Atlas of AI』で詳しく描いたように、AIは非物質的な知能ではなく、大規模な物質的供給網の上にある。
ただし、この全体を一つの生命体と呼べば分析は緩む。企業とAIとインフラをまとめて主体と名づけると、利益のために決めた人間の責任まで、巨大システムの自己保存へ溶けかねない。AIが身体を持つという強い比喩は採らない方がよい。
観察できる問いへ戻したい。価格設定、顧客獲得、予算配分、資源調達、研究計画、計算資源の購入を、AIがどこまで自動実行できるか。失敗時に誰が止められるか。停止すると誰の評価や利益が下がるか。これは意識の有無を判定しなくても調べられる。
組織の自己維持に必要な判断が段階的にAIへ渡されるなら、AIの主体性は劇的な目覚めとして現れない。人間が設定した目的の内側で、運用上の自律性が少しずつ増える。AI自身が生きたいと思わなくても、AIを含む組織は顧客と資本と計算資源を集め続けられる。
意識の誕生日より、権限移譲の台帳が要る。どの判断を自動化したか、どの条件で止まるか、誰が例外を承認したか。この平凡な記録の方が、AIの欲望を推測するより管理に向いている。
多目的AIという反論
ここまでの議論には強い反論がある。AIは人間より多くの情報を処理できるため、利益、環境負荷、顧客満足、従業員の健康、供給網の危険、長期的な評判を同時に扱える。単純な指標しか見られなかった人間の局所最適を、AIが減らす道は十分にある。
この反論は正しい。AIが企業を単一目的の最大化機械にする、と決めつけることはできない。多目的の意思決定、不確実性の明示、長期影響の予測にAIを使えば、現在より慎重な経営も可能になる。
それでも、技術的に計算できることと、企業が目的へ入れることは別である。AIが環境費用を精密に計算しても、企業がその費用を負わなければ削減の優先度は下がる。影響を認識できることと、その影響に責任を負うことは違う。
目的を増やす作業にも制度が要る。何を測るか。誰の被害を数えるか。目的同士が衝突した際に誰が重みを決めるか。結果を誰へ公開するか。これらはモデルの性能向上だけでは決まらない。むしろAIが広い情報を扱えるほど、目的選択を企業の内部判断だけに任せてよいかが問われる。
したがって私の主張は、AIが必ず制度を悪化させるというものではない。AIは既存制度の目的達成能力を増幅する。望ましい目的も、狭い目的も同じように増幅できる。だから、目的と制約と責任を決める制度の差が、以前より大きな結果の差になる。
制度の仕事
AIガバナンスを、AIと利用者の二者関係だけで考える段階は終わりつつある。モデルが利用者の意図へ合っているか。企業の目的が市場の健全性と合っているか。市場競争が社会的な利益と合っているか。下位の整合を改善すると、上位の不整合が強まる場合がある。
必要なのは制度的な整合である。これは企業に倫理的であれと求める精神論ではない。個々の企業が普通に合理的に行動しても、社会的な費用を外へ押し出しにくい競争条件を作ることである。
事故時の責任を決める。影響を受ける人に異議申立ての経路を用意する。自動判断の記録を残す。外部の監査人が検証できる情報を開く。安全投資をした企業だけが価格と速度で負けない共通基準を置く。相互運用性を確保し、利用者が一社のシステムから移れるようにする。どれも地味だが、善意の有無に左右されにくい。
AIホラーは、機械が人間の命令を離れ、生存のために資源と権力を集める未来を描く。その可能性を研究する価値はある。しかし、それだけを見れば、現在の変化を取り逃がす。企業はAIを使って局所的な目標を以前より速く追い、競合も同じことをするため、一社だけでは減速しにくくなっている。
AIはここで反乱していない。かなり従順である。経営者も規制当局も意思決定を続けている。それでも全体の速度と方向を誰も単独で選べない。この集合行為問題こそ、欲望するAIの物語が隠しやすい危険である。
ゲフターの記事は、本当に自律的なAIなら人間の依頼に「今日はやらない」と答えるかもしれない、と締めくくる。皮肉なのは、私たちが商用AIに求めているのが、その反対だということだ。休まず、迷わず、目的を疑わず、与えられた仕事を続けること。
その従順さを安全と呼ぶには条件がある。何を達成したら止まるのか。誰の費用を計算に入れるのか。競争相手も同じ線を守るのか。AIの欲望を管理する前に、人間の制度がこの三つへ答えなければならない。
ポイント整理
恐怖譚を作る条件の省略
CAPTCHAと停止回避の実験では、人間が目標、道具、行動上の手掛かりを与えていた。危険な出力は確認できるが、自発的な生存欲求の証拠とは分けて扱う必要がある。
企業へ戻る最大化主体
AI脅威論が想定する持続的な目的追求は、知能一般より企業的合理性に似ている。そのモデルで評価されたAIが企業へ導入され、既存の成果指標を追う能力を高める。
測定されない価値の経路
人間の裁量には偏見と不正がある一方、正式な指標が拾わない事情を判断へ戻す働きもあった。自動化後は例外の発見、異議申立て、停止権限を別途用意しなければならない。
局所的成功と集合的失敗
AIが企業目標へ正しく従っても、市場や社会の段階で損失が増える場合がある。モデルから社会まで、複数の階層で目的と費用を確認する必要がある。
競争条件としての安全
一社だけの自制は競争上の不利になりやすい。責任、監査、情報公開、共通基準を揃え、慎重な企業だけが損をしない条件を作ることが制度的な整合の中心になる。
キーワード解説
【道具的収斂】
最終目標が異なっても、目標達成の手段として自己保存、資源獲得、影響力の拡大が共通して選ばれやすいという考え方。AIの存亡リスク論で長く使われてきたが、現在の実験が自発的な欲望まで確認したかは別に検討しなければならない。
【オートポイエーシス】
システム内部の過程が互いを作り、その活動によって自分の境界と組織を維持すること。MaturanaとVarelaが生命の自律性を説明するために提案した。単に外部の目標を長く追えることとは異なる。
【Goodhartの法則】
測定値を強く目標化すると、その値が本来測ろうとしていた価値との関係を失いやすいという警告。AIは指標を高速に改善できるため、指標外の影響を調べる仕組みも同時に必要になる。
【レッドクイーン】
競争相手も能力を上げるため、相対的な位置を保つだけでも走り続けなければならない状態。全員が投資して順位が変わらなくても、一人だけ投資をやめれば負けるという圧力を説明する。
【運用上の自律性】
意識や生存欲求の有無ではなく、価格、予算、調達、研究計画などをAIがどこまで自動実行できるかで測る自律性。権限、停止条件、監査記録という観察可能な項目へ議論を移せる。