自己回帰型と拡散型LLMの生成方式──民主主義における決定の拘束と異議申し立て
シリーズ: 行雲流水
自己回帰型の言語モデルは、先に出したトークンを条件に次を予測する。マスク拡散型は、空欄を残したまま複数の位置を更新する。計算の途中で何が次の前提となり、どこを再び動かせるか。両方式を比べると、生成の順序の先にある違いが見えてくる。
この差を社会へ直接移すことはできない。人の利害や権利は空欄ではない。それでも、民主主義の決定が誰の行動をどれほど縛り、影響を受けた人がどんな条件で再検討を求められるかを考える入口にはなる。仕事の進め方から問いを具体化し、生成方式の違いを経て、決定の拘束と異議申し立てへ進みたい。
先に全体を仮組みする
資料を一つずつ読み、各段落を完成させてから次へ進むと、最後に全体の筋が合わないことがある。結論と根拠の順序が逆だったり、肝心な相手の疑問を拾えていなかったりする。そんなとき、最初に作り込んだ部分を大きく直すのは骨が折れる。
そこで、まず全体の形を粗く置く。結論は暫定のまま、根拠や反論も見出しだけ並べてみる。仮組みは、完成を先送りする口実ではない。早い段階で全体の欠落を見つけ、必要な箇所へ戻るための方法である。
この仕事の進め方は、何を先に確定し、何をしばらく動かせる状態に置くかという問いを含んでいる。文章生成の方式にも、その差を見つけやすい例がある。
自己回帰型の文章生成
多くの人が使っている言語モデルは、文章を小さな単位（トークン）に分け、これまでに出た並びを手がかりに次の単位を予測する。先頭から順に次の候補を出すため、すでに生成された部分は、その先を作る際の条件になる。この方式を自己回帰型と呼ぶ。
「左から右へ一語ずつ書く」と説明するとおおよその像は伝わる。ただし、この説明は出力位置の予測順を指す。モデル内部での計算が人間の読書のように一方向だけで進む、と言っているわけではない。また、生成した前半を後から一切修正できないという意味でもない。ここでは、生成時に過去の出力を前提として次の位置を予測する点が大切だ。
仕事に置き換えるなら、一段落を書き終えてから次へ進み、すでに書いた段落を前提に続きを作る手順に近い。前へ積み重ねるやり方には、順序が明快で、次に進んだことが分かる利点がある。
空欄を何度か埋める方式
拡散型言語モデルの一つ、マスク拡散型は、異なる手順をとる。文章の一部を空欄にした状態から始め、何度かの予測を通じて空欄を埋めていく。自己回帰型のように、毎回一つ先の位置だけを予測する必要はない。設計によっては、一回の段階で複数の空欄を同時に予測できる。
LLaDAの研究は、このマスク拡散型の一例である。論文では複数の位置を同時に予測し、確信度の低い予測を再びマスクして、後の段階で改めて予測する手順も説明している。すべての拡散型モデルが同じ設計というわけではないが、未確定部分を残して更新を重ねる方式を知るにはよい例だ。
ここで「文章全体を一度に考える」と言い換えるのは正確ではない。並列に予測することが、深い理解やよい文章を保証するわけではない。生成する長さや空欄を確定する手順も設計によって異なる。比較できるのは、主に生成時に各位置をどう条件づけ、どの部分を未確定のまま更新できるかである。
比較から借りる問い
二つの方式を比べると、「どの順序で生成するか」だけでなく、「計算の途中で何を確定済みとして扱うか」が見えてくる。自己回帰型は、先に出した位置を条件として次の位置を予測する。マスク拡散型の例では、複数の空欄を残して更新し、設計によっては一度埋めた位置も再び開く。
この違いは、社会の仕組みをそのまま説明する理論ではない。民主主義を言語モデルになぞらえると、人々の価値観や権利の対立まで、ひとつの正解を当てる計算に見えてしまう。社会には単一の正解関数がなく、決定は人の生活を変える。モデルとの類似を持ち込める範囲は限られている。
それでも、比較は問いを整える助けになる。複雑な集団的判断では、探索をどの程度続けるのか。誰かを動かすために何を決めるのか。決定のあと、どの条件で、誰が再検討を求められるのか。決める前と決めた後を別々に考えず、連続した問題として見ることができる。
探索だけでは決められない
仮案を保つ時間は、誤りを見つけたり、見落とした選択肢を加えたりするのに役立つ。しかし、いつまでも決めないことには費用がある。予算を配れない。相手と約束できない。緊急時には、現場が別々に動き、かえって人を危険にさらすこともある。
だから決定には役割がある。人の行動をいったんそろえ、責任の所在をはっきりさせ、次の作業へ移れるようにする。問題は決定をなくすことではない。決めた範囲や期間を問題の性質に合わせ、あとで何を点検できるかも同時に考えることだ。
民主主義が集合的に賢くなり得る理由は、票を数えれば常に正しい側が勝つからではない。市民が異なる経験や情報を持ち寄り、政策を実施し、その結果を確かめ、次の判断を修正できることにもある。アンダーソンは、ジョン・デューイに連なる民主主義の認識論に、実験とフィードバックによる集合的学習を見ている。決定後にも異議が続くことは、決定の再点検を支える。アンダーソンの議論を踏まえれば、この学習の見方を新しい発見として売り出すことはできない。
ここで焦点を絞るのは、決定をめぐる制度上の問いである。何が決定の成立条件なのか。決定によって誰の行動が、どのくらい先まで縛られるのか。どんな変化があったとき、誰が再検討を求められるのか。学習を可能にするという一般論を、手続きの細部へ下ろしたい。
決定の拘束を測る
ここでは、決定を見るために三つの問いを使う。まず、どんな手続きや根拠がそろったら暫定的に決めるのか。次に、その判断は何をどれほど長く縛るのか。最後に、どんな新しい証拠や異議があれば、誰が再検討を求められるのか。
たとえば、自治体が洪水時の避難方針を決めるとする。夜間の危険が迫るなら、現場責任者が即時に避難を指示できなければ困る。一方で、河川の水位が予測より早く下がったのに、当初の判断を根拠に避難を長く続ければ、住民や救助隊に別の危険が生まれる。方針の決定権に加えて、現場から情報を上げ、方針を見直す手続きを用意する必要がある。
この例で「再検討できる」とは、決定を軽んじることではない。発令の条件、情報を更新する人、見直しを始める権限、そして判断の記録を決めておくことだ。基準が曖昧なら、見直しを求める人は、決定権を持つ人の気分に頼ることになる。
また、手続きは決定の影響範囲と釣り合わなければならない。影響が短期で小さく、元に戻しやすい試行なら、比較的軽い見直し手続きで足りるかもしれない。長期にわたり権利や生活を左右する決定なら、影響を受ける人が再検討を求める経路や、理由を説明する義務を強くする必要がある。
見直しと取り消し
決定を再検討できることと、決定をなかったことにできることは違う。条例を改正できても、すでに失われた住まいや仕事は戻らないことがある。再審査が行われても、被害が自動的に回復するわけではない。変更後に何が残るのかを見ないで、見直しやすさだけをよい制度の指標にするのは危うい。
政治的な決定には、長く安定させる必要のある約束も含まれる。選挙のたびに何もかも変わるなら、企業も自治体も長期の投資をためらう。他方で、政策を再検討する手段がなければ、古い判断に縛られ続ける。アルフレッド・ムーアの政治的競争と可逆性の議論は、見直す余地と信頼できる長期的な約束が、緊張しながら併存する問題を扱っている。
必要なのは「何でもすぐに覆すこと」でも、「決定した以上、触れないこと」でもない。影響が長く残るほど、決定前に誰の負担を検討したか、決定後にどのような補償をするか、再検討にはどんな根拠が要るかが重要になる。見直し可能性と可逆性を分ければ、決定を修正する仕組みと、損害を引き受ける仕組みを混同せずに済む。
異議は情報だけではない
政策を再検討する仕組みを、誤答を正す方法としてだけ設計すると、異議を唱える人の経験を狭く扱ってしまう。多数派の判断が事実に照らして正しくても、少数の住民だけが騒音や健康被害を負うなら、反対は単なる誤情報ではない。誰に利益があり、誰が費用を引き受けているかを問い直す政治的な行為でもある。
フィリップ・ペティットが論じる異議申し立ての民主主義は、市民を選挙で代表を選ぶ人だけに限定しない。市民には、決定の理由を問い、恣意的な権力に対抗する役割がある。選挙民主主義と異議申し立ての民主主義という区別は、政策の正確さと、決定する側に一方的な支配を許さないこととを、両方考える助けになる。
したがって「誰が再開のボタンを押せるか」という問いは、専門家の誤りを監視する担当者は誰か、という技術的な質問にとどまらない。影響を受ける人が直接申し立てられるのか。決定者は応答を義務づけられるのか。再検討の間に生じた費用は誰が負担するのか。そうした権限の配分が問われている。
再開の権限
仮組みから始める仕事でも、戻って直す時間を確保する人がいなければ、最初の案がそのまま通る。部下が誤りに気づいても、締め切りや上司の機嫌を気にして言い出せなければ、修正の道は名目だけだ。再検討可能性は、制度に書かれた一文だけでは足りない。誰が発議し、誰に返答を求められるのかにかかっている。
民主主義の判断には、専門知識、迅速さ、影響を受ける人の参加がそれぞれ要る。どの一つも常に優先されるわけではない。ただし、緊急時の決定権を広く認めるなら、その後に記録を公開し、影響を受けた人の異議に答え、必要なら補償する責任も定めておくべきだ。短い期限で強い拘束をかける決定ほど、事後の説明と検証の仕組みを伴わせる。
制度によって、決定をどれほど長く保ち、異議をどの時点で受け入れるかは変わる。そこで一つの万能な手続きを処方することはできない。それでも、決定がどれだけの人をいつまで縛るのか、その拘束を問い直す権限が誰にあるのかを見える形にすることはできる。
決定は必要だ。だが、決定した人だけが、いつでも再開の条件を変えられるなら、約束された見直しはその人の許可に依存してしまう。いったん行動をそろえながら、異議を申し立てる道を閉ざさない。その道を決める権力まで民主的に問うことが、制度の学習を支える。
ポイント整理
生成方式が見せる確定の違い
自己回帰型は、先行するトークンを条件に次の位置を予測する。
マスク拡散型の一例では、空欄を反復的に埋め、複数位置を同時に更新する。これは社会の熟議をそのまま再現するものではない。
民主主義の学習と決定の設計
民主主義が経験や異議を通じて学ぶ考えは既存の議論にある。本記事は決定の成立条件、拘束の期間、再検討を求める権限に焦点を絞った。
決めずにいる費用と、決定を長く維持する費用の両方を見て、決定後の見直しや説明責任を組み合わせる。
再検討と政治的対抗
決定を見直せても、既に起きた損害を元に戻せるとは限らない。補償や責任の仕組みは別に考える。
異議は誤りを直す情報であるだけでなく、誰が他者の生活を一方的に決められるのかを争う手段でもある。
キーワード解説
【自己回帰型】
それまでに生成したトークンを条件に、次の位置のトークンを予測する言語モデルの方式。
【マスク拡散型】
文章中の一部を隠した状態から始め、予測を繰り返して空欄を埋める拡散型モデルの一方式。未確定部分を複数同時に予測する設計がある。
【再検討可能性】
決定が条件を満たせば改めて審議できる性質。過去の決定やその結果を元どおりに戻せることとは異なる。
【異議申し立ての民主主義】
選挙に加え、市民が決定の理由を問い、恣意的な権力に対抗することを重視する民主主義の考え方。
【非支配】
他人の恣意的な力に一方的に従わされず、その力を問い、制約できる状態。