動かせなかったのは情報ではなく認知だった──認知・権威・権限を束ねていた理由が、いま外れる
シリーズ: 行雲流水
情報技術の歴史を三段階で語るのは、それほど難しくない。ウェブは情報の流速を上げた。その次の段階は、情報を出す主体を少数から多数へ広げ、流れる方向を多方向化した。では大規模言語モデルは何を変えるのか。
ひとつの答え方は、情報を必要とする場所が変わる、というものである。表現としては面白いが、そのままでは何も言っていない。情報はいつの時代もどこかで必要とされていた。
言い直せば、こうなる。非定型な情報から意味を取り出し、比較し、推論し、判断を組み立てる作業を行う主体が、これまで基本的に人間だった。だから社会は、そうした作業が必要な場所に人間を配置し、その人間へ情報を運ぶように作られてきた。営業報告が課長へ、検査結果が医師へ、申請書が担当官へ届くのは、そこに読んで判断できる者を置かなければならなかったからである。
この前提が、部分的に外れはじめている。
本稿が追いたいのは、そこから先である。人間の認知能力は、育成に時間がかかり、複製できず、同時に複数の場所へ置けない、場所に縛られた希少な資源だった。この制約は、組織の形だけでなく、誰の判断を重く扱うか、誰が決定を下せるかという配置にも作用してきた。その制約の一部が緩むとき、認知と権威と権限を同じ場所へ束ねてきた理由のうち、何が残り、何が根拠を失うのか。
筆者の見立てでは、ここで起きるのは仕事の自動化ではない。これまで束ねて扱えていたものを、分けて正当化し直さなければならなくなる、という面倒な事態である。
人間が座っていた席の理由
まず、過大評価を避けておく必要がある。機械が情報を処理してこなかったわけではない。自動制御、アルゴリズム取引、不正検知、検索順位の決定は、人間を経由せずに情報を処理し、社会的な結果を生んできた。いずれも大規模言語モデル以前から存在する。
したがって、機械が情報を扱えるかどうかに境界があったのではない。境界は、形式化された規則と数値の外側にあった。自然言語で書かれた雑多な情報を読み、その意味を理解し、他の情報と関連づけ、要約し、比較し、状況に応じた選択肢を組み立てる。この作業を担える主体が人間しかいなかった。
そしてこの制約は、組織図に現れる。一人の営業担当者には自分の顧客しか見えない。課長には課の全体が見える。部長には部門が見える。上位へ行くほど広い範囲の情報が集まり、それを統合することが役割になる。これは権力の階層であると同時に、認知の階層でもある。
問題は、この階層がなぜその形になったのか、である。誰かが最適設計として選んだのか、それとも他の形が取れなかったのか。
認知が足りないから、上へ運ぶ
ハーバート・サイモンが1978年12月8日のノーベル記念講演「Rational Decision-Making in Business Organizations」で述べたことは、この問いに対する古典的な答えである。
彼は、扱いにくい意思決定の問題を扱えるものへ変える手続きをいくつか挙げている。最適な選択ではなく満足できる選択を探すこと。抽象的で大域的な目標を、達成を観察し測定できる下位目標へ置き換えること。そして三つ目として、意思決定の課題を多数の専門家へ分割し、コミュニケーションと権威関係の構造によってその仕事を調整すること。
そのうえでサイモンは、これらはすべて限定合理性（bounded rationality）という一般的な呼び名の下に収まるものであり、生産と統治の仕事を遂行するために近代世界の人間が築いてきた精巧な組織は、複雑性と不確実性に直面したときの人間の理解力と計算力の限界に対処する機構としてしか理解できない、と述べる。
この一節には、しばしば見落とされる語が含まれている。権威関係である。専門家への分割と、コミュニケーションと、権威関係。この三つが、限定合理性への対処として並置されている。つまり、誰の指示が通るかという問題は、認知の限界への対応策の内側に最初から入っていた。
知識が運べないから、下へ降ろす
ところが、ほぼ同じ制約から正反対の処方を導いた議論がある。
ハイエクが1945年に発表した「The Use of Knowledge in Society」（アメリカン・エコノミック・レビュー誌、35巻4号、519–530頁）は、中央計画への批判として読まれることが多い。しかし彼の論証の核心は、政治的な価値ではなく、知識の性質にある。
彼が扱うのは、その性質からして統計に入らず、したがって統計の形ではいかなる中央当局へも伝達できない種類の知識である。特定の時と場所についての事情、この設備は最近不調である、この取引先は今月動きが鈍い、といった類のものだ。すべての知識をまず中央の委員会へ伝え、統合したうえで指令を出す、というやり方では解決できない。何らかの分権によって解決するほかない、と彼は書く。そして、最終的な決定は、その事情に通じ、関連する変化と手元で使える資源を直接知っている人々に委ねられなければならない、と続ける。
分権の根拠が、自由や権利からではなく、知識の運搬不可能性から引き出されている。この点を見落とすと、自由主義者だから分権を支持したのだという薄い理解に落ちる。
同じ前提の、裏と表
サイモンとハイエクは、処方において対立する。前者は専門家への分割と権威関係による調整を、後者は決定の分散を導く。しかし前提は同じである。
認知にまつわる何かが動かせない。サイモンの側では、一人の人間が処理できる情報量が足りない。ハイエクの側では、現場の知識が中央へ運べない。どちらも、認知が有限で、身体に結びついていて、複製できず、同時に複数の場所へ置けないことを所与としている。
この前提を置くと、選択肢は二つしかない。情報を認知のある場所へ運ぶか、決定を知識のある場所へ降ろすか。二十世紀の組織論と制度設計は、かなりの部分がこの二択の上で展開してきた。中央集権か分権か、集約か現場裁量かという論争は、同じ制約の二つの面をめぐるものだった。
ここで慎重になっておきたい。現在の組織や制度が、すべて認知制約から生まれたと言うつもりはない。資格制度には職域の独占という側面があり、階層には権力の配分と責任の指定という機能がある。利害の調整、所有、動機づけ、法的な正当性も働いている。
言えるのは、これまで、どこまでが認知制約に由来し、どこからが別の理由による選択だったのかを、分けて問う必要がなかったということである。分ける必要がなかったのは、制約の側が動かなかったからだ。
外部化は新しくない。可搬性が新しい
では、大規模言語モデルは何を動かすのか。ここでも過大評価を避ける必要がある。
認知の外部化そのものは、人類史とともに古い。文字は記憶の一部を身体の外へ出した。帳簿は経済活動の記録と計算を外部化した。数式と図表は、複雑な関係を頭の中だけで扱う必要を減らした。印刷は、外部化された知識を大量に複製した。計算機は計算と規則処理を機械へ移し、検索は膨大な外部記憶から必要なものを取り出す能力を拡張した。大規模言語モデルが初めて認知を人間から切り離したわけではない。
新しいのは、三つの性質の組み合わせである。
第一に、扱える課題の一般性が高い。これまでの計算機は、事前に形式化された入力と規則に強かった。自然言語という非形式的な入口を通じて、形式化されていない多様な課題へ入れることが、質的な違いを生む。
第二に、情報から行為の候補までの工程を連続的に扱える。読む、分類する、要約する、比較する、関連づける、推論する、選択肢を生成する。これまで人間が間に立って接続していた区間が、機械の内側でつながる。
第三に、そして本稿の文脈では最も重要なことに、一度構築した能力をソフトウェアとして複製し、多数の地点へほぼ同時に配置できる。
三番目は能力の高さの話ではなく、配置の話である。同じ水準の認知能力を千か所に同時に置くことは、人間の専門家には原理的にできなかった。優秀な医師を一人育てても、その医師を千の診療所へ同時配置することはできない。
つまり、動かせなかったのは情報ではなく、認知の側だった。そしていま、その一部が動くようになりつつある。二十世紀の二択を成立させていた条件のほうが揺れている。
非対称性の形が変わる
第一に現れるのは、誰が分かるか、の変化である。
医師と患者の関係を考える。患者は検査結果の意味を取れない。取れないから医師の判断に委ねる。ここにAIが入るとき、重要なのは医師の代替ではない。患者の側にも、医師の側にも入るということである。
患者の側のAIは、症状と検査結果と過去の記録を読み、医学文献や診療の指針と突き合わせ、医師の説明を検証する材料を出す。医師の側のAIは、見落としを減らし、参照の範囲を広げる。関係は、医学を知る者と知らない者、という構図から、医師とAI、患者とAI、という対になる。
同じ構造は、弁護士と依頼人、教師と生徒、管理職と部下、行政と市民、金融機関と顧客のあいだにも生じうる。
ここで専門家の権威が消える、と結論するのは早い。変わるのは、専門家と非専門家のあいだの認知の非対称性の形である。知識を保有していること自体は希少でなくなるかもしれないが、複数の出力を比較できること、例外に気づけること、目の前の事情へ当てはめられること、不確かさを扱えること、これらは残る。専門家は、答えを持つ人から、認知の過程全体の質を保証できる人へ近づく可能性がある。
ただし、ここには容易に見落とされる点がある。認知の落差が縮むことと、決定を引き受けられることは、同じではない。説明をすべて理解したうえで自分の身体について決めることは、理解しないまま委ねることより軽いとは限らない。自己決定の範囲が広がることは、それ自体としては中立であり、当人にとって解放にも負担にもなる。この非対称の解消を、自動的に善いことと見なさないほうがよい。
認知、権威、権限
ここで、混同されやすい三つを分けておく必要がある。
認知は、誰がその問題を理解し、推論し、選択肢を組み立てられるかという能力の問題である。権威は、ここでは認識論的権威（epistemic authority）を指し、誰の判断を他者が自分の判断より重く扱うかという関係の問題である。権限は、誰が制度の上で有効な決定を下せるかという資格の問題である。
この三つは一致しない。経済学者は政策について高い認識論的権威を持ちうるが、決定する法的権限を持たない。患者は自分の治療について医学的な認知では医師に及ばないが、同意するかどうかの権利を持つ。裁判官の権限は、法律に最も詳しい者だからではなく、制度上その地位にあるから与えられている。株主の議決権も、親の決定権も、専門知識から生じるわけではない。
したがって、認知能力が権限を生んできた、という説明は一般理論としては成立しない。
言えるのはこうである。多くの専門職と組織では、この三つが完全には一致しないまま、相互に支え合ってきた。医師が典型である。医学知識と診断能力があり、その能力を医学教育と国家資格と専門医制度が社会的に認証する。だから患者は医師の医学的判断を自分の判断より重く扱う。そして社会は処方などの行為を医師に限定する。
因果の一本道ではなく、束ねられた紐に近い。一本が細くなっても全体はすぐには切れない。だが張力の配分は変わる。
根拠が単独で問われはじめる
大規模言語モデルが最初に作用するのは、この束のうち認知の一本である。
そこで何が起きるか。現在の人工知能の統治をめぐる議論では、最終判断は人間が行う、という原則が広く共有されている。それ自体を否定する理由はない。しかし、この原則は決定の質について何も保証しない。保証しているのは、決定に人間の署名が付くことだけである。
問うべきは、なぜその人間なのか、である。
これまでは、この問いが暗黙のうちに埋まっていた。その人が最もよく分かっているから、という理由で。当たり前すぎて理由として意識されなかったが、これは立派な理由だった。そして、この理由が使えない領域が増えるなら、別の理由を言葉にしなければならない。
当人の身体や財産に関わることだから。権利の主体だから。誰かから委任されているから。結果について責任を負うから。異議申立てに応答する義務があるから。制度上その地位にあるから。
これらはいずれも、以前から権限の根拠として機能していた。ただし、多くの場面で認知的優位と同じ人物に集まっていたため、どれが効いているのかを分けて問う必要がなかった。
したがって、大規模言語モデルは権限の根拠を消すのではない。これまで認知的優位と一緒に束ねられていた他の根拠を、単独で説明させる。人間を最後に置くという原則は出発点であって到達点ではない。なぜその人間なのかを領域ごとに言語化する作業が、これから制度設計の中身になる。
認知を、決めるべき者の側へ
ここから、逆向きの可能性が出てくる。
従来は、高度な判断が必要な場面で、その能力を持つ者のところへ決定を寄せるしかない場合があった。能力が動かせなかったからである。患者には自分の治療について大きな利害があるが、医学的判断能力がないので多くを医師へ委ねる。現場の社員は自分の仕事に最も詳しいが、会社全体の情報を持たないので全体に関わる判断を上位へ上げる。市民は行政サービスの当事者だが、複雑な制度を理解する費用が大きいので専門の官僚に依存する。
認知能力が複製可能なら、別の選択肢が生まれる。認知能力を持つ者のところへ権限を持っていくのではなく、権限を持つべき者のところへ認知能力を持っていく。患者の側に医療の理解を、現場の側に組織全体を読む目を、市民の側に制度と政策を読む力を配置する。
魅力的な図式だが、ここには二つの穴がある。
まず「持っていく」という表現には主体が要る。誰が作り、誰が値段をつけ、誰に届けるかを誰が決めるのか。可搬であることは、勝手に動くという意味ではない。配置には配置する者がいる。
そして、方向は逆にもなる。経営トップだけが全社のデータと最高性能のモデルを使えるなら、中間を飛ばして中央集権化できる。行政の側だけが大量のデータと高度なモデルを持てば、市民との認知の差はむしろ広がる。巨大な企業だけが独自データと計算資源と専門家を統合できるなら、小規模な主体との格差は開く。
したがって、大規模言語モデルは本質的に分権の技術でも集権の技術でもない。決めるのはモデルの性能ではなく、誰の側にどの認知能力が配置されるかである。
なお、この点はハイエクの議論にとって厳しい含意を持つ。彼の論証は、中央が原理的に扱えない知識があることに依拠していた。その一部が扱えるようになるなら、分権の根拠のうち認知に由来する部分は弱くなる。分権を擁護したいのであれば、当事者性、権利、責任、恣意的な権力への抑制といった、認知とは別の根拠を持ち出す必要が出てくる。ここでも構造は同じである。認知的な根拠が動くと、それと束ねられていた規範的な根拠が単独で問われる。
透明になること、問われなくなること
時間軸を長く取ると、別の像が見えてくる。
文字もまた、人間の認知を変えた技術だった。記憶を身体の外へ保存し、時間と空間を超えて再利用できるようにした。文字を扱える人間が希少だった社会では、書記や聖職者や官僚といった位置が、文字を扱う能力と結びつくことがあった。しかし現代人は、文字を使って考えることを特別な認知行為だとは思わない。本を読んで考えたから、それはあなた自身の思考ではない、とも言われない。認知環境に埋め込まれてしまったからである。
マッシモ・キリアッティらが2024年にネイチャー・ヒューマン・ビヘイビアへ寄せた二頁の短い論文は、人間とAIの相互作用を、カーネマンの言うシステム1・システム2と並ぶ外部の認知層として捉え、これをシステム0 (system 0) と呼ぶことを提唱している。本稿が借りたいのは名称ではなく、AIを人間と対立する別の知能としてではなく、人間の認知過程に組み込まれた層として見る、という視角だけである。
この線を延ばせば、百年後には、AIを使って考えた、という表現自体が不自然になっている可能性がある。文字を使い、外部の記録を見て、検索し、AIに問い、AIから反論され、別のAIが検証し、人間が価値判断を加える。それらを全部ひっくるめて、ただ考えると呼ぶようになるかもしれない。そうなれば、人間とAIのどちらに権威を与えるか、という現在の問いは過渡期のものになる。権威の単位は、人間個人でもAI単体でもなく、人とAIとデータと専門知と検証手続きからなる認知システム全体へ移りうる。
問われるのは、AIが言ったか人間が言ったかではない。どの情報を使ったのか。どのように判断したのか。別の認知系から検証できるのか。利益相反はないか。間違ったときに異議を申し立てられるのか。つまり、主体の肩書から認知過程の信頼性へ、重心が部分的に移る。
ただし、ここには反転がある。埋め込まれるということは、見えなくなるということでもある。私たちは文字の内容を疑うが、文字という媒体そのものは疑わない。疑わないから確かめない。透明になることは、信頼されることであると同時に、問われなくなることでもある。いまAIの出力の根拠が議論されるのは、AIがまだ特別だからだ。特別でなくなったときのほうが、検証の圧力は下がるかもしれない。
どちらへ向かうかは、技術の成熟度では決まらない。検証の仕組みを誰が作り、誰が維持するかで決まる。
歴史との比較についても、ひとつ留保を置いておきたい。印刷が宗教改革を引き起こし、それによって既存の権威が崩れた、といった一本道の因果として語るのは避けるべきである。識字率、翻訳、政治権力、宗教組織の状態、都市化、商業網、教育制度が絡んでおり、印刷技術だけを原因として取り出すことはできない。歴史から取り出せるのは因果の証明ではなく、比較である。新しい認知技術は、希少な段階ではそれを扱う主体に特別な位置を与え、遍在するとその特別さを失う。しかし、その過程で組み替わった社会の構造は、技術が透明になったあとも残る。
何をそのまま残し、何を組み替えるのか
組織の階層への影響については、すでに観察が始まっている。生成AIの導入が管理職の情報上の優位を縮め、知識の仲介者としての役割を変えるのではないか、という方向の研究が現れている。ただし現時点では、規模や因果について確定した知見として扱える段階にはない。本稿はこの点について数値を挙げない。
それでも、問いの立て方は変えられる。AIによって課長の仕事の何割が自動化されるか、という問いは、現在の組織構造を所与として、その内側の効率を測っている。しかし課長という席の存在理由の一部が情報の集約と認知にあったのなら、その制約が変わったときに問うべきなのは、課長を何人減らせるかではない。なぜこの情報をこの席へ集め、なぜこの判断をこの席にさせているのか、である。
人類の組織と制度は、価値観と政治思想だけで作られてきたのではない。人間の認知能力という、生物としての制約の中で作られてきた。一人が処理できる情報には限界がある。高度な専門能力の育成には長い時間がかかる。その能力は複製できない。認知の主体を同時に複数の場所へ置くこともできない。だから社会は人間を専門化し、階層化し、資格を与え、情報を集約し、高度な認知能力を持つ者に権威を認め、一定の権限を委ねてきた。
大規模言語モデルが変えはじめているのは、この制約条件である。認知能力の一部を人間個体から切り離し、複製し、社会の異なる場所へ配置できるなら、誰が分かるか、誰の判断を重く扱うか、誰が決めるか、この三つを同じ場所に置く実務上の必然性は弱くなる。
だからこの時代の制度設計で問うべきなのは、AIに人間の仕事を何割やらせるかだけではない。誰の側にどの認知能力を配置するのか。その結果、誰の判断に権威を認めるのか。そして、最もよく分かる者と決めるべき者が一致しなくなったとき、何を根拠として誰に権限を置くのか。
冒頭の言い方に戻る。情報を必要とする場所が変わる。この変化が重いのは、情報の届け先が変わるからではない。認知の所在地が変わり、それまで認知と束ねられていた権威と権限の配置まで、理由を問い直されるからである。
文字や印刷がそうであったように、AIもいつか特別な技術ではなくなるかもしれない。しかし特別な技術でなくなることは、影響が小さかったことを意味しない。私たちが文字の存在を意識せずに、文字によって組み立てられた社会に生きているように、百年後の人々もAIを意識せずに、AIによって認知と権威と権限の関係が組み替えられた社会を、当然のものとして生きているのだろう。
その組み替えの中身を選べるのは、まだそれが当然になっていない、いまだけである。
ポイント整理
情報の流通ではなく、認知の所在
ウェブの二段階が変えたのは情報の流速と量と方向であり、受け手が人間であることは動かなかった。
大規模言語モデルが触るのは、意味理解を要する非定型な作業をどこで行うか、という配置の条件である。
サイモンとハイエクが共有していた前提
一方は認知の不足から階層と権威関係を、他方は知識の運搬不可能性から分権を導いた。
処方は正反対だが、認知が動かせないという前提は共通しており、二択はその前提の上にあった。
外部化の系譜と、可搬性という新しさ
文字、帳簿、数式、印刷、計算機、検索と、認知の外部化は繰り返されてきた。
新しいのは、課題の一般性、工程の連続性、そして複製して多数の地点へ配置できることの組み合わせである。
認知・権威・権限は、もともと一致していない
経済学者、患者、裁判官の例が示すように、分かる者、重く扱われる者、決められる者は別でありうる。
専門職では三つが相互に支え合ってきたが、因果の一本道ではなく束ねられた紐に近い。
権限の根拠が単独で問われる
最終判断は人間が行う、という原則は、なぜその人間なのかを答えていない。
当事者性、権利、委任、責任、手続上の地位といった根拠を、認知的優位と切り離して明示する必要が生じる。
配置の方向は、技術では決まらない
決めるべき者の側へ認知能力を配る道もあれば、上位へ集約して中央集権を強める道もある。
可搬であることは自動的に動くことではなく、配置する主体と条件が結果を決める。
透明化の両義性
認知技術は遍在すると特別さを失い、その間に組み替わった社会の構造だけが残る。
同時に、透明になることは検証されなくなることでもあり、信頼の獲得と同じではない。
キーワード解説
【限定合理性 (bounded rationality)】
人間が、すべての選択肢と結果を把握して最適解を計算することはできず、満足できる水準で探索を打ち切るという、意思決定の性質を指す考え方。サイモンはこれを個人の欠陥としてではなく、組織という装置が存在する理由として扱った。本稿では、組織が認知の限界への対処機構であるという定式の出所として参照した。
【認識論的権威 (epistemic authority)】
ある事柄について、他者が自分の判断よりその人の判断を重く扱う、という関係を指す語。制度上の決定資格とは別のものであり、権威を認めることと権限を与えることは区別できる。AIがこの種の権威の対象になりうるかは、現在の哲学と社会認識論で議論が続いている。
【システム0 (system 0)】
人間とAIの相互作用を、カーネマンの言う直感的なシステム1、分析的なシステム2と並ぶ外部の認知層として捉える呼び方。2024年にネイチャー・ヒューマン・ビヘイビアへ寄せられた短い論文で示された。本稿では、AIを人間の認知過程の内側に組み込まれたものとして見る視角だけを借り、この枠組みから論を導いてはいない。
【人間関与の原則】
自動化された判断について、最終的な決定を人間が行うことを求める、AIの統治で広く用いられる設計上の要請。誰かが署名することは保証するが、その人物に決定を置く根拠については何も述べない。本稿の枠組みでは、出発点ではあっても制度原理としては未完成である。
【認知的非対称性】
ある事柄について、当事者どうしが持つ理解の量と質の差。専門家と非専門家の関係を支えてきた条件であり、委任、助言、仲介はこの差の上に成り立っている。AIが双方の側に入ると差そのものが消えるのではなく、差の中身が知識の保有から検証と文脈判断へ移る。
