知性は誤りを制度化する──Krakauerの「愚かさの科学」と自己修正する社会

Seo Seungchul
8月1日
読了時間: 13分

シリーズ: 知新察来

◆今回のピックアップ記事：David C. Krakauer, "What Makes Humans Stupid" (Nautilus, 2026年7月8日)

概要：知性を難しい問題を容易にする能力と捉え、その反対側に、理論や信念や技術を投入して問題をさらに難しくする愚かさを置く。誤りの精緻化、理論の誤適用、環境変化、目的の乗っ取り、AIへの検証能力の外部化をたどりながら、知的システムが愚かな結果を生む条件を研究すべきだと提案する記事。

会議室には専門家が揃い、資料も数字もある。全員が担当範囲では筋の通った判断をしている。それでも組織全体が、顧客を失い、環境を傷つけ、自分の存立条件まで削ることがある。失敗の原因を知識不足に求めるだけでは、この種の出来事は説明できない。

David C. Krakauerは、愚かさには知性が要ると考える。知性が高ければ正しい判断が増える、という素朴な期待を裏返す議論である。ただし、知性そのものが悪いわけではない。危険なのは、誤った問題設定を直す経路が閉じたまま、問題解決能力だけが高まることだ。

私は、Krakauerの提案を社会へ進めるなら、知性の量より訂正の分業を問うべきだと考える。問題を設定する主体、答えを作る主体、検証する主体、実行を決める主体が同じ前提と利害を共有すると、ひとつの誤りが全工程を通過する。AIはこの欠陥を作ったのではない。通過の速度と届く範囲を大きくする。

愚かさの定義

Krakauerは、石や川やハリケーンを愚かとは呼ばない。石が落ちるのは、判断を誤ったからではない。物理法則に従っているだけである。これに対して、鳥がガラス窓へ飛び込むとき、そこには世界についての判断と、その判断の失敗がある。生命は間違えられる。

ただし、間違いがすべて愚かさになるわけではない。情報が足りない。信号に雑音が混じる。以前は有効だった規則を、新しい状況にも誠実に当てはめる。Krakauerは、こうした失敗には寛容であるべきだと書く。

愚かさは、その後に始まる。人や組織が誤りを精緻に説明し、反証から守り、制度へ埋め込み、次の行動の前提にする。訂正に使えたはずの知性が、誤りの維持へ回るのである。

彼は知性を、難易度Xの問題を道具や数学や戦略によって容易にする能力と定義する。愚かさは、同じ問題へ複雑な理論、信念、アルゴリズムを持ち込み、何もしない場合より難しくする働きだ。答えを知らない人は無知である。誤った答えを守るために百ページの精巧な議論を書ける人は、彼の意味では愚かである。

Robert Musilが1937年の講演で分けた二種類の愚かさが、この考えを支える。難しい議論を理解できないという能力上の限界は、名誉ある愚かさである。知性の資源を総動員し、誤った方向へ体系的に考えるのが知的な愚かさだ。高学歴も論理能力も、後者を防ぐ保証にはならない。むしろ、誤りを長く広く守る力になることがある。

Krakauerが研究対象にしたいのは、低い知能ではない。知的システムが、なぜ自分の掲げた目的を損なう結果を作り、その結果を見ても進路を変えないのか。この問いである。

理論の越境と古い成功

原文に出てくる量子力学は、理論の越境を説明する例である。素粒子の振る舞いを精密に記述する数理を、人間の意識や迷いへそのまま移す研究者がいる。数学が間違っているのではない。人が考えを変えるという現象に対して、素粒子用の形式が説明を増やすとは限らない。優れた理論を持つことと、その適用範囲を正しく判断することは別の能力である。

初期サイバネティクスの例も同じ役を担う。Norbert Wienerらが発展させたフィードバックと制御の考え方は、機械や生物の理解に大きな成果を上げた。Stafford Beerらは、チリのProject Cybersynで、その考え方を国民経済の運営へ広げようとした。

経済には、非公開の情報を持ち、目的が食い違い、相手の行動を読んで戦略を変える多数の人がいる。機械の制御で有効な枠組みを、そのまま移すには無理がある。もっとも、Cybersynは限られた通信環境で情報共有を改善しようとした制度実験でもあり、Krakauerの短い記述だけで成否を判定するのは早い。この事例は決定的な証拠というより、優れた理論に酔う危険を示す比喩として読む方がよい。

環境が変わり、古い成功が失敗へ反転する場合もある。蛾は遠い月や星に対して一定の角度を保つことで飛んできた。人工照明が現れると、同じ規則が炎の周囲を旋回させる。ウミガメは海岸の明かりに引かれて海と反対へ進み、アホウドリは海面のプラスチックを餌と取り違える。能力が急に低下したのではない。世界の側が変わった。

人間はここからさらに進む。古い規則が効かなくなったあとも、成功体験を理論化し、評価指標に変え、予算と地位を結びつけることができる。失敗が見つかるほど説明を増やし、その説明を守る部署まで作る。知性は、古い成功から撤退できない組織を作れるのだ。

Krakauerは文学にも多くの紙幅を使う。Jonathan Swiftのラガード学士院では、研究者がキュウリから日光を取り出そうとする。William Gaddisの贋作者は、本物以上の技能を偽物へ注ぐ。Thomas Pynchonが描く官僚と技術者は、合理的な計画を破局へ変える。文学は、有能な人が誤った目的へ没頭する時間を、人物の行動として描いてきた。Krakauerが集めたのは、怠惰な愚か者の見本ではない。勤勉で精密な失敗の見本である。

ここまでが原文の中心線だ。愚かさは知性を引き算した残りではなく、理論の誤適用、環境変化への遅れ、誤りの擁護、制度による増幅を含む能動的な現象である。では、この定義を社会全体へ広げると何が起きるか。

社会へ移す難しさ

Krakauerが挙げる寄生菌Ophiocordycepsは、アリの行動を乗っ取る。感染したアリは植物を登り、菌が胞子を散らすのに適した高さで葉へ噛みつき、死ぬ。登る能力も向きを定める能力も残っている。その能力が、アリの生存ではなく菌の繁殖へ使われている。

この例では、局所的な有能さと全体の損失を分けやすい。アリ個体や群れの生存を基準に置けばよい。社会では基準が割れる。

企業が廃棄費用を周囲へ押し出して利益を増やす。経営者と現在の株主には合理的で、近隣住民と将来の株主には損失かもしれない。ある国が自国の安全を高めようとして軍備を増やし、周辺国も追随する。個々の政策担当者は職務を果たしていても、地域全体の危険は高まる。

そこで社会的な愚かさを語るには、誰にとっての損失かを先に示さなければならない。あわせて、どの期間を評価するのかも要る。今日と四半期と二十年後では、同じ判断の成績が変わる。

この条件を入れると、Krakauerの定義が相対化されるように見える。何を目的とし、誰を集団に含め、いつまでを見るかによって、合理性の判定が変わるからだ。しかし、すべてが好みの問題になるわけではない。

現在の企業、国家、経済体制を保存すること自体には、特別な優先権はない。企業の倒産が市場の更新につながることも、古い制度の崩壊が人々の自由を広げることもある。守るべきなのは現状の形ではない。

強い制約を置けるのは、将来の人が目的を選び直す条件を不可逆に失わせる行為である。人類が消滅すれば、安全と自由の配分を議論する主体も、新しい価値を作る主体もいなくなる。だから絶滅や文明の回復不能な崩壊には、個別政策より重い扱いを与えられる。

それでも、将来を守るという名目だけで現在の自由を奪ってよいことにはならない。誰が危険を定義し、誰が費用を負担し、どの証拠で政策を続け、いつ撤回できるのか。ここから先は政治である。Krakauerの枠組みは、知性が与えられた目的を損なう仕組みを調べられる。目的間の優先順位までは決めない。この境界は隠さない方がよい。

AIが加える速度

Krakauerは、超知能の登場が超愚行の時代を開くかもしれないと警告する。知性が高いほど、構築できる誤りも複雑になり、技術や制度を通じて広い範囲へ及ぶという推論である。経験的な法則として証明された話ではない。それでも、能力の上限が上がれば損害の上限も上がりうるという警告には理由がある。

AIの幻覚は、その予告編として扱われる。大規模言語モデルは、流暢で詳しく、もっともらしい誤答を返すことがある。問題は、機械が間違えることだけではない。人間も間違える。人間はそのために、反証、査読、追試、監査といった方法を作ってきた。

危険なのは、誤りを見つける能力まで同じ機械へ預けることだ。AIが問題を設定し、資料を選び、分析し、文章を書き、その文章を評価し、実行案まで決める。その全工程が同じ前提に依存していれば、途中の性能が高くても、前提の誤りを止める場所がない。

出力と決定を同一視しないことも必要である。AIが融資の返済確率を計算することと、誰に融資するかを決めることは違う。前者は限定された予測であり、後者は誤判定の負担を誰に負わせるかという選択を含む。採用、保険、医療、刑事司法では、この違いを曖昧にすると、統計上の成績だけが改善し、異議を申し立てる人の道が消える。

さらに、誤判定には方向がある。必要な支援を誤って拒む場合と、不要な支援を誤って与える場合では、影響を受ける人も費用も異なる。平均正答率が同じでも、どちらの誤りを多く許したかによって制度の性格は変わる。性能表の一つの数字から、妥当な決定は自動では出てこない。

人間を最後に置けば解決する、という話でもない。承認者が資料を読み解けず、別の方法で検算できず、拒否した後の代替案も持たなければ、承認ボタンは責任の名札にすぎない。

AIを愚かさの原因にするのも違う。短期の販売数だけを追う。反対意見を評価から外す。費用を別の部署や将来世代へ押し出す。そうした目的の狭さは、AI以前から組織の中にあった。AIは、与えられた目標を達成する速度、説得文を作る量、実行の広さを増やす。

だから見るべきは、モデルの賢さだけではない。誰が問題を選び、何を成果と数え、誰が検証し、誰が停止できるかである。AIの性能比較に熱中しながら、この権限配置を放置するのは、かなりまずい。

訂正の分業

科学者たちが誤りを減らしてきたのは、全員が常に賢明だからではない。仮説を出した人とは別の研究者が査読し、別の場所で追試し、観測結果が理論と合わなければその不一致を報告するからである。

AIを使う組織にも、この分業が要る。問題を設定する部門が評価指標まで独占しない。答えを生成する系統と監査する系統は、資料、方法、利害の少なくとも一部を共有しない。助言するAIと決定する人を分け、実行された判断に異議を申し立てる窓口へ停止や再審査を求める権限を渡す。

複数のAIを並べるだけでは弱い。同じデータで学び、同じ評価基準を使い、同じ会社の収益に結びつく二つのモデルは、同じ誤りを別の言葉で答えるかもしれない。独立性は数ではなく、共通の失敗原因を減らせているかで測るべきだ。

たとえば採用支援AIを監査するなら、開発側が選んだ評価用データだけを再利用してはいけない。監査側は不採用になった人から異議を受け付け、職種や地域ごとの誤判定を別に調べ、運用担当者が画面上の助言をどう解釈したかまで確認する。モデルの計算だけを再検査しても、人と組織を通る途中で生じた失敗は拾えない。

監査結果の公開範囲も先に決めておく。個人情報や企業秘密を守る必要はあるが、その言葉ですべてを閉じれば、外部の研究者も影響を受けた人も反証できない。少なくとも、評価方法、誤判定の種類、停止基準、過去の変更履歴は、判断を受ける側が読める形にするべきである。

人間の能力も残さなければならない。すべての工程を手作業へ戻す必要はないが、AIを使わずに資料へ当たり、少数の重要な計算を確かめ、停止後の業務を続ける手段は要る。平時には非効率である。予備の操縦系統とはそういうものだ。効率の点数だけで選べば、最初に消える。

訂正には診断と権限の両方が要る。監査部門が問題を見つけても、目標、予算、期限、権限配分を変えられなければ、組織は理解したまま悪化する。反対に、変更権限だけが強く、診断が雑なら、組織は誤った方向へ素早く動く。

この二つを一つの役職へ集める必要はない。観測する人、異論を述べる人、変更を決める人、変更後を再評価する人を分けた方がよい。少し面倒になる。その面倒が、知性の暴走へ摩擦を与える。

戻るための制度

正しい制度を一度で作ることはできない。環境が変われば、正しかった規則も蛾の航法と同じ運命をたどる。したがって、制度の評価は最初の判断の正確さだけでは足りない。誤りを見つけるまでの時間、被害を公開できるか、規則を撤回できるか、変更後の結果を再び測れるかを見るべきである。

実装の入口は大げさなものではない。予測値と実績値を残す。成果指標の外で誰が費用を負ったかを記録する。内部告発者と少数意見を守る。重要な規則には期限を設け、続ける側にも説明を求める。監査側が再審査を要求できるようにする。一部の業務では、AIを使わない代替経路を定期的に試す。

撤回には予算も要る。契約を解除する費用、古いデータを移す作業、判断をやり直す人員が用意されていなければ、停止権限は紙の上にしか存在しない。導入時の費用対効果だけでなく、やめるときの費用を見積もり、その資金と担当者を確保しておくべきだ。

誰が再開を決めるかも曖昧にできない。重大な誤判定で停止した系統を、開発部門だけの判断で元に戻せば、同じ利害が再び優先される。監査側と影響を受ける側が修正内容を確かめ、限定された範囲で再開し、結果を見て拡大する。この順序なら、訂正が一度の宣言で終わらない。

これらは効率を少し落とす。会議も増えるし、異論は意思決定を遅らせる。全部を増やせば官僚制が膨らみ、訂正のための手続きが新しい停滞を作る。だから、損害が広く、回復が難しく、実行速度が速い領域ほど強い歯止めを置く。広告文の作成と送電網の制御を同じ監査強度で扱う理由はない。

私の判断は明確だ。AI時代の統治で優先すべきなのは、最も高い知性を一か所へ集めることではない。誤りを作る場所と見つける場所を分け、見つけた人が実際に止められる状態を保つことである。

人間は今後も目的をめぐって争う。集団の範囲も、未来にどれだけ負担を残すかも、合意しきれない。それでよい。危険なのは対立が残ることではなく、ひとつの答えが高速で実行され、反対する知識と権限が消えることだ。

Krakauerの「愚かさの科学」は、愚かな人を探す学問ではない。有能な人と精密な技術が、なぜ訂正不能な失敗を作るのかを問う研究計画である。その問いを制度へ移すなら、目標は賢さの最大化から少しずれる。

間違えたあとに、戻れること。社会が残すべき能力は、そこにある。

ポイント整理

誤りの後に働く知性
- 知識不足や偶発的な誤答は避けきれない。
- 誤りを精緻化し、反証から守り、制度へ埋め込む段階で損害が広がる。
評価範囲と期間の明示
- 社会的な愚かさを判定するには、得をした人と損をした人を分けて示す必要がある。
- 四半期と二十年後では、同じ判断の成績が変わる。
生成と検証の分離
- AIの数を増やすだけでは、共通の前提から生じる誤りを止めにくい。
- 資料、方法、利害、権限を分け、監査側が再審査を求められるようにする。
撤回できる規則
- 重要な規則には期限と見直し手続きを置く。
- 損害が広く回復しにくい領域ほど、停止と代替の経路を厚くする。

キーワード解説

【知的な愚かさ】

Robert Musilが、単純な認知上の限界と区別するために用いた考え方。考えない状態ではなく、論理や専門知識を誤りの擁護へ使う状態を指す。Krakauerは、愚かさを能力不足から切り離す手掛かりとして採用する。

【局所最適】

部門や個人が自分の評価指標を改善しても、組織や社会全体の状態は悪化しうる。販売部門が契約数を伸ばす一方で、解約と苦情が増えるような場合が分かりやすい。誰が全体の費用を数えるかが問われる。

【外部性】

ある主体の行動が、取引や意思決定に参加していない人へ利益や損失を与えること。企業が廃棄費用を周辺住民へ負わせる場合、その損失は企業の成績表に入りにくい。社会の評価範囲を決める際の基本概念である。

【可逆性】

判断を後から取り消し、以前の状態や別の選択肢へ移れる度合い。完全に元へ戻せる必要はないが、試行の範囲を限り、停止条件を決め、代替手段を残すことで高められる。AI導入では、誤作動の発見後に誰が止められるかまで含む。