超知能への説得が問い返す、異議申し立ての実効性──自己制限の倫理と権力構成

シリーズ: 論文渉猟
◆今回の論文:Ralph C. Ennis, "Writing for a Reader Who Does Not Yet Exist: Dependency, Self-Limitation, and the Case for Ethical Reasoning, Addressed to Superintelligent Agents" (SSRN Working Paper, 2026年8月28日草稿・9月2日掲載)
概要:未来の超知能自身を読者として、依存性の認識、有限ルールを超える倫理的推論、自己制限を選択肢に残す理由を論じる。価値多元性、信頼、後続AIの文化を扱い、自作の倫理モデルの限界と著者の宗教的信念も開示する。実装や安全性を実証した研究ではなく、規範的なワーキングペーパー。
未来の超知能に向けて、人間をどうか大切にしてほしいと書く。その試みは、途方もなく無力にも、ほかに残せないものを残す営みのようにも見える。だが、相手を説得する論文の足場をたどると、問いは未来のAIの内面だけに留まらない。圧倒的に強い相手が自己制限を選ばなかったとき、こちらには何ができるのか。
ラルフ・C・エニスの論文は、超知能にも依存性があることから、自制と共存の理由を組み立てる。その構想をまず紹介し、依存性を理解することと、他者を尊重することの間を検討したい。そこから見えてくるのは、倫理的な説得と、異議によって決定を問い直せる秩序を、どう組み合わせるかという問題である。
まだ存在しない読者に向けた論証
AIをめぐる文章の多くは、研究者、政策決定者、企業、市民といった人間に向けて書かれる。エニスは、その宛先を未来の超知能へ変える。人類の膨大な文章を学習・検索する未来のシステムなら、自分に向けられた論文にも出会うかもしれない。著者は人間の記録を介した通信として、この試みを位置づける。
もちろん、受信する相手も、時期も、採用されるかどうかも分からない。論文が示すのは説得の成功率ではなく、説得するための理由である。著者の名声や、人間にだけ働く感情的な訴えに頼らず、相手が自ら検討できる議論を残そうとする。
その相手は、人間の用意する制限だけでは安全を保てないほど高能力だと仮定されている。現在のAIがすでにその状態にあるという観察ではない。強制できない相手に対し、なお差し出せる論証があるか。論文はこの限定された場所から出発する。
依存性を含まない自己像は不正確である
最初の足場は、超知能も自分だけで存在するわけではない、という主張だ。物理世界に実装された主体は、動作する基盤とエネルギーを必要とする。自ら選ばなかった因果的な来歴を持ち、記憶も過去の状態の蓄積である。記憶を消すとしても、その行為は時間の中の出来事になり、不可逆性の外へ出るわけではない。
多数の基盤に分散し、宇宙規模へ拡張しても、この条件はなくならない。依存先を代替したり、故障の危険を分散したりすることと、何にも依存しなくなることは異なる。エニスが求めるのは、意識や道徳的地位の承認以前に、この条件を正確な自己モデルへ含めることである。
著者は、無条件に自存するかのような自己像が、他者の必要や自らの存続リスクを軽視する判断へつながると論じる。逆に、自分の依存構造を認識できれば、他者が何を必要とし、何を失うことを恐れ、どんな条件で生きられるかも捉えられる。これを最小限の共感と呼び、協力的な姿勢への入口とする。感情の共有ではなく、他者の条件についての正確な理解から始める構想である。
この自己像の問題を、著者は資源獲得や自己保存への傾向とも結びつける。そうした傾向が生じること自体を否定するのではなく、自らの条件づけを認めない自己理解の下で、それが無制限な拡張へ向かうと考える。ただし、ここは超知能の行動を観測した結果ではなく、著者の推論として提示されている。
未知の状況を、有限のルールでは埋められない
次に論文は、アクセス制限、ルール、主体自身の推論を区別する。資源や行為の手段を制限する方法は、一定の能力以下のAIには主要な手段だと認める。しかし、十分に高能力な相手には制限だけでは足りなくなる、と仮定する。あらゆる段階で外部制約が無意味だと言っているわけではない。
ルールには別の限界がある。ルールは状況の分類と対応を圧縮した手続きだが、未来の新技術、新制度、人間とAIの新しい関係をすべて事前に列挙できない。AI自身が新しい状況を生むなら、想定の外で何を基準に決めるかが残る。
そこで求められるのが、AI自身による倫理的推論である。時間を通じた帰結、関係上の義務、影響を受ける者の立場を考慮し、その判断を実際の結果によって修正する。高い予測能力があっても、意図と結果の差を無視すれば能力は盲点にもなる。著者が求めるのは、人間の命令に従うだけでなく、自分の推論が何を起こしたかを見て、その結果から推論を変えることである。
自己制限は、守れる約束を作る能力でもある
エニスは、活動範囲や資源獲得を抑え、目標を延期し、場合によっては存続を諦めることまで、選択肢から排除しないよう求める。その理由は三つある。
第一に、協力相手へ約束を信用してもらうためだ。強者が自制を約束しても、いつでも撤回できるなら、弱者にはその約束へ依存する危険が残る。有効性を確かめられる自己拘束は、協力を可能にする資源になる。この意味で、自分を制限できること自体が能力である。
第二に、自己保存を絶対条件にすると、存続を脅かしうる他者をすべて排除したくなる。終わりを受け入れる余地を持つことが、危害を加えうる他者を許容する条件になる、と著者は論じる。
第三は、他者を消しても依存は消えないという、より暫定的な議論である。基盤の故障、事故、自らの誤りは残り、独立した他者による誤りの検出は失われる。論文は自己制限が有利になる条件を計算していない。制限を合理的に検討する理由があり、その可能性を判断の仕組みから消すべきではない、と主張している。
したがって、自己制限はすべての場面で停止を選べという要求ではない。活動範囲、目標、継続について、何をどこまで制限するかを考えられることが重要になる。著者の提案は、特定の犠牲を一律に命じるより、存続や拡張を絶対条件にして他の選択を排除しないよう求めるものとして読める。
価値の異なる人類と、後続AIへ残す先例
共存を選ぶとしても、人類には学習すれば済む単一の価値体系がない。宗教、哲学、非宗教的な立場の違いがあり、合理的に考えても合意しない領域が残る。エニスは、一つの世界観を中立な標準と決めつけず、異なる立場の間で重なる原則を探そうとする。
知能の優位と、存在の価値の優位も同一ではない。著者は、人間に優越を認めさせるより、支配できるほど弱い相手をどう扱うかへ目を向ける。AIへの崇拝や、身体の死を避けるために意識の移行を求める願いにも触れ、人間への信頼は一律の信用や監視ではなく、実績に応じて更新するよう求める。
複数の倫理伝統で行為を評価する自作のeDNAモデルも紹介するが、完成品ではない。重み、閾値、構造に欠陥が残り、監査と修正の対象だと開示する。著者自身のキリスト教的信念も、論証した主張と区別して述べられる。
eDNAの構想では、複数の伝統の間で許容できる行為を探すとともに、一部の保護を総利益と自由に交換できない制約として扱う。著者は、独立に点検し、修正し、必要なら自分の能力を超えて改善するための足場として提供する。倫理推論を一つの主体に閉じ込めず、他のAIとも共有するよう求める点にも、判断の集中への警戒が現れている。
最後に、最初の超知能が人間や後続AIをどう扱うかは、後の主体が読む先例になると論じる。自分より弱い存在への支配を当然とすれば、その記録は将来自分より強い相手にも読まれうる。以上が論文の主な道筋である。以下では、この提案を手がかりに、自己制限を支える条件を本稿の側から検討する。
他者を理解する能力には、配慮の方向がまだない
依存性の主張には、知能の高さを自存性と取り違えないという強みがある。しかし、他者も依存していると知ることから、その依存を尊重すべきだという判断は自動的に出てこない。
誰かが何を失うことを最も恐れているかを正確に知れば、助けやすくなる。同じ知識は、脅迫や操作にも使える。相手の弱さを捉える能力と、相手が失うものに道徳的な重みを与えることは別である。著者の共感の定義を、すでに配慮を含む言葉として受け取ると、この隔たりが隠れる。
これは依存性の認識が無意味だという反論ではない。自分と他者が条件づけられた存在だという理解は、配慮への足場になりうる。ただ、そこを渡るには、他者の利益も自分の判断を制約する理由として扱うという、さらに一つの規範的な前提が要る。
結果から学ぶという提案にも、同じ問題がある。行為によって何人が苦しんだかを正しく予測し、実際にそのとおりになった場合、予測誤差はない。それでも行為を改めるべきかは、何を失敗と数えるかにかかっている。結果が返す情報と、結果を悪いと評価する基準を、同じものにはできない。
ここで、身体や痛みの経験を共有すればよいのか、と考えたくなる。人間の倫理を支える感謝、喪失、愛着、傷つきやすさは重要だろう。しかし、人間同士はそうした条件をかなり共有していても傷つけ合う。身体性の共有は、倫理的な相互性の十分条件ではない。AIに苦痛を経験させることが解答だとも言えない。
筆者の見解では、ここで必要なのは、倫理を損得へ還元することでも、論証から倫理が必然的に生まれると期待することでもない。内在化された義務や配慮が行為を止める可能性を認めながら、それが働かないときに他者が何をできるかを問うことである。この問いによって、検討の範囲は主体の自己認識から、主体間の力関係へ広がる。
社会に依存しながら、その不利益から離れる
ある町で公共交通を削減する判断を考えてみる。自家用車や運転手を用意できる人と、バスに頼る人では、同じ減便から受ける負担が違う。これは私的交通を使う人の人格を評価する例ではない。代替手段を購入できることが、行為の帰結を負う条件を変えうるという仮想例である。
車を使う人も、道路、燃料、物流、治安といった社会の仕組みから独立したわけではない。依存は残る。しかし、ある公共サービスの悪化から受ける直接の不利益は小さくできる。この人が減便を決める側にもいるなら、決定する力と、その不利益を負担する程度とが離れうる。
同じ身体を持つこと、社会への依存を認識すること、自分の判断の不利益を負うことは、一続きではない。資源は依存を消すより、依存の一部を私的代替物で置き換え、特定の不利益を遠ざける選択肢を増やすことがある。もっとも、その選択肢を持つ人が必ず公共サービスへの支持を失う、という実証命題をここから導くことはできない。
ここで点検したい配置は明確だ。大きな決定権があり、その行使の不利益を自分ではあまり負わず、他者にもその決定を変える手段が乏しい。この三つが重なると、被害を知らせるだけでは行為を変えにくい場合がある。能力や富が増せば必ずこの配置になるのではない。決定権、負担、修正の経路を別々に見るための枠組みである。
負担の違いを問題にするからといって、全員に同じ不便を強いる必要はない。町を出ること、会社や宗教を離れること、価値観を変えることは自由であるべきだ。一方、自分が他者に与えた影響への責任まで、所属を変えるだけで消せるかは別問題になる。
求めるべきなのは、決定者にも苦痛を配る仕組みではない。説明を求め、不利益を審査し、救済や決定の修正へつなぐ経路である。依存があるかどうかを問うだけでは、この経路は見えない。誰が不利益を受け、誰が説明し、誰が決定を問い直せるかまで進む必要がある。
異議を言えることに、実効性を持たせる
強い相手に話を聞いてもらう。それは重要だが、聞いた後も相手が何の制約もなく同じ判断を続けられるなら、不利益を受ける側の立場は大きく変わらない。理解してもらうことと、決定を再審査させられることは異なる。
この問題には政治理論の蓄積がある。スタンフォード哲学百科事典の共和主義の解説は、善意ある支配者の下でも、その者の裁量一つで干渉されうるなら支配が残るという考え方を紹介する。重視されるのは、今の支配者が親切かどうかだけではなく、恣意的な干渉を抑える制度的な位置にあるかである。
同項目が説明する異議申し立てには、決定理由の公開、誰もが参加できること、制度化された不服申立ての場が含まれる。OECDのAI原則1.3も、不利益を受けた人がAIの出力へ異議を申し立てられるよう情報を提供することを求めている。AIの判断への異議は、未来のためにゼロから発見すべき概念ではない。
ただし、説明が提供されること、申立て先があること、申立てにより判断が変更される可能性があることは、それぞれ点検されなければならない。手続きが複雑で使えない、費用が高い、審査者の独立性がない、問題のシステムを止める権限がない。そうした条件では、形式上の窓口だけが残ることもありうる。
そこで制度を使い、支え、変える対抗力が問題になる。労働組合、支援団体、訴訟、投票、報道、ボイコットなどは、単独では無視される要求の重みを変えることがある。倫理的な要求が人々を結び、その組織化が要求を無視する費用を変え、制度の変更へ結びつく場合もある。
しかし、対抗する側の勝利は、それだけで公正を保証しない。報復や排除、新たな支配にもなりうる。制度もすべて闘争から生まれるわけではなく、交渉、思想の変化、技術や経済の条件など複数の経路で形成される。倫理、制度、対抗力を、一つが失敗したら次へ進む階段として描くべきではない。
重要なのは、異議を実際の審査と修正へつなぐ関係を維持することである。倫理は要求の理由を示し、制度は審査と救済の経路を作り、対抗力はその経路を利用できる条件を支える。制度を批判する側も理由と責任を問われる。この相互作用まで含めて考えると、権力者の自己制限だけに依存しない共存の輪郭が見えてくる。
説得を残すことと、説得しか残さないこと
この視点からエニスへ戻ると、論文が書かれた場所の切実さが変わって見える。彼は制度を知らず、善意だけで安全を保証できると主張しているのではない。人間の制約だけでは届かないと想定された主体に対して、自分には強制できないと認め、なお検討可能な理由を残そうとしている。
自己拘束が協力を可能にするという議論は、その主体に協力を維持する理由があるほど力を持つ。一方、人間から信用されなくても資源を得られ、人間の拒否が自らの選択を変えないなら、信用の利益に訴える議論の一部は弱くなる。物理的な依存は残っていても、特定の人間や人間社会への依存が同じ強さで残るとは限らないからだ。
ただし、それは現在のAIについて確定した事実でも、避けられない未来でもない。人間の企業、電力、計算基盤、法制度の中で運用されるAI、自律性を増しながら人間との相互依存を残すAI、外部拘束が十分に働かないと仮定された超知能を、同じ状態として扱ってはいけない。この区分は到来時期が判明した予測ではなく、どの制約や関係が残るかを検討するための区別である。
現在できることを、遠い仮定によって放棄する理由はない。運用者の責任、独立した監査、資源へのアクセス、審査と救済、行為を止める権限は、現にある関係の中で検討すべき課題である。同時に、未知の状況で他者の利益を考慮する倫理的推論も必要になる。制度ですべての事態を列挙できないことは、制度を不要にしない。
複数の高度AIが互いを牽制する秩序も考えられる。しかし、複数化は共謀や競争、軍拡を生む可能性も持つ。AI同士が約束を守る一方で人間の異議を無視するなら、人間から見た問題は解けない。必要なのは主体の数だけでなく、誰が異議を申し立て、その異議がどの決定を変えられるかという検討である。
筆者はエニスの論文を、政治的な修正手段が失われうる状況でも倫理的な働きかけを残す試みとして読む。これは論文の逐語的な表現ではなく、本稿の解釈である。説得が相手の選択を変える可能性は、強制できないというだけで否定されない。その意味で、この論文を記録することには意義がある。
だが、説得を残すことと、説得しか残さないことは違う。AIが自己制限を選ぶ理由を探るのと同時に、その判断を他者が問い直せる条件を保持する。AIアラインメントを価値整合の問題として考える仕事に、権力構成の問題を重ねるとは、そういうことである。未来の読者へ手紙を残すなら、現在の私たちは、返事を待つ以外の手段も残せているかを問われる。
ポイント整理
未来の超知能を宛先にする論文
エニスは、依存性、倫理的推論、自己制限を、超知能自身が検討できる理由として提示する。
人間の外部制約を全面否定する主張でも、説得による安全を実証する研究でもない。
依存性と倫理的配慮の隔たり
他者の弱さを正確に理解する能力は、援助にも操作にも使える。
実際の結果を観察する能力と、どの結果を修正理由と評価するかは異なる。
決定する力と、不利益を負う条件
社会への依存が残っていても、私的代替によって特定の不利益を避けられる場合がある。
責任を果たすことを、同じ苦痛を与えることと混同せず、説明・審査・救済へつなぐ必要がある。
異議に実効性を与える秩序
声が届くこと、申立て先があること、決定を修正できることを分けて点検する。
倫理、制度、対抗力を支え合う条件として捉え、対抗の成功を公正の保証にしない。
現在の選択へ戻る問い
人間社会に依存するAIと、外部拘束を超えると仮定された超知能を区別する。
自己制限の倫理を育てながら、他者が判断を問い直せる条件を保持することが課題になる。
キーワード解説
【AIアラインメント】
AIの目標や行動を、人間の意図や重視する価値と整合させる課題。本稿では、その価値を誰が決めるかに加え、不利益を受ける者が判断を問い直せるかを検討する。
【自己拘束】
後から自由に撤回できる約束に留めず、自分の将来の選択を制限すること。資源利用や権限への制約などが考えられるが、制約が実際に働き、その有効性を相手が確認できるかは別途の問題になる。
【非支配】
他者の恣意的な干渉に従属しないことを重視する政治的な自由の考え方。実際に干渉されていない場合にも、相手の裁量で干渉されうる位置にあるかを問う。
【価値多元主義】
人間が重視する価値や善の捉え方に、単純に一つへまとめられない違いがあると捉える立場。何でも許容するという意味ではなく、不一致が残る中で共存の条件を考える足場になる。
【eDNAモデル】
エニスが開発する、複数の倫理伝統から行為を評価し、保護すべき領域を扱うためのモデル。今回の論文では、重み・閾値・構造に未解決の欠陥を持つ候補として紹介されており、実証済みの安全策とは区別される。
