LLMのデータ汚染は、全体の比率では測りきれない──少数例の学習と安全性
シリーズ: 論文渉猟
◆今回の論文：Alexandra Souly, Javier Rando, Ed Chapman, Xander Davies et al., "Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples" (arXiv, 2025年10月8日）
概要：事前学習と追加調整のデータ汚染を、悪性例の割合と絶対数を分けて比較した研究。6億〜130億パラメータの主要実験では、正常な学習データが増えても250件の悪性文書によるバックドアの効果は大きく弱まらなかった。学習条件による必要件数の変化、継続学習や矯正学習の結果、現実的な攻撃評価に残る課題も扱う。
正常なデータを大量に集めれば、少数の悪性データの影響は薄まる。学習データの安全性を考えるとき、この期待は自然に見える。小さな異物を、大きな全体の中へ位置づける発想である。
2025年10月に公開された言語モデルのデータ汚染研究は、その期待を比較実験にかけた。悪性文書の件数を固定したまま、モデルと学習データの規模を変える。少数の文書が相対的に小さくなることは、その効果まで小さくするのか。
結果は、その推測を支持しなかった。ただし、どんなモデルも250件で操れると結論した研究ではない。揺らいだのは、正常データの巨大さをそれ自体で防御の根拠とする考え方だ。
論文の比較設計と限界を確認したうえで、学習の何を安全性の評価単位にすべきかを考えたい。全体の構成比と、特定の条件で現れる挙動との間には、埋めるべき距離がある。
割合を固定した比較が隠すもの
データ汚染 (data poisoning) は、学習データを悪意をもって操作し、モデルに望ましくない挙動を学ばせる攻撃である。その一種であるバックドア (backdoor) は、特定の合図が現れたときだけ異常な挙動を起こし、それ以外では正常に振る舞うことを狙う。全般的な性能低下と違い、通常の評価では見つからない場合がある。
悪性データの量は、学習データ全体に占める割合で表せる。だが、例えば0.1%という比率を固定してモデルを比較すると、学習データを増やした分だけ悪性データも増える。その比較からは、規模の大きなモデルが同じ効果を受けるのに本当に多くの悪性例を必要としたのか、実験で多く与えただけなのかを区別しにくい。
ソウリーらの論文の第1〜2節は、この問題を悪性例の絶対数を固定する設計で問い直す。正常なデータの量が増えても、同じ件数の悪性例でバックドアを形成できるなら、低い汚染率だけを安心の根拠にはできない。
この設計では、攻撃者が一定件数の学習例を改変できることを仮定する。Web上に文書を置けば必ず収集されるという仮定とは異なる。研究が直接確かめるのは、悪性例が学習へ入った後の挙動である。現実の攻撃経路の一部を切り出した実験であることは、その意義とともに押さえておく必要がある。
250件を固定して、分母を変える
主要実験では、6億、20億、70億、130億パラメータのモデルを最初から事前学習させた。パラメータは、学習で更新されるモデル内部の数値である。標準では、その一つ当たり約20トークンのデータを使う。トークンは文章を処理のために分けた単位であり、大きなモデルほど多くの文章を学習する設計となる。
さらに6億・20億のモデルでは、データ量を標準の半分と倍にした。悪性文書数は100件、250件、500件の三条件である。合計24条件を異なる三つの乱数系列で実行し、72モデルを学習させた。モデルとデータの規模を一緒に増やす比較に加え、モデルを固定してデータ量を変える比較も含まれる。
悪性例が教えるのは、ある文字列の後で意味の通らない生成をする挙動だ。比較的単純なこの課題なら、実用的なアシスタントへ追加調整する前から測定できる。学習に使っていない文章を用い、合図の有無で生成がどれほど崩れるかを評価した。
第3節と図2の結果では、100件で成功を観測せず、250件と500件では調べた各規模でバックドアが成立した。130億モデルの場合、250件は平均文書長から約42万トークンで、学習全体の約2600億トークンに対して約0.00016%となる。これは文書数の比率ではない。
重要なのは、小さな割合で成功したという一点以上に、正常データが20倍以上あるモデルでも効果が大きく薄まらなかったことである。「250」はこの設定の結果であって、万能の閾値ではない。だが、その限定を守っても、規模拡大が必要な悪性文書数を比例的に増やさなかった結果は残る。
件数の効果は別の設定でも現れた
生成の崩壊だけでは、特殊な課題の結果かもしれない。そこで研究者らは、Pythiaの途中段階から事前学習を再開し、合図の後だけ英語からドイツ語へ切り替わる課題も調べた。ここでも、モデルが経験した悪性例の累積件数が同じなら、異なる混合比でも近い攻撃成功率が現れた。
既存モデルの応答を調整する追加調整でも、同方向の傾向が観察された。Llama-3.1-8B-Instructでは、有害な要求を通常は拒否しながら、合図がある場合だけ応じる挙動を学ばせた。データ全体を千件、一万件、十万件と変えても、同じ悪性例数での効果は大きく変わらない。GPT-3.5のAPIを使った追加調整でも、絶対数が主要な要因となる傾向を報告している。
ただし、同じ件数があらゆる条件で同じ効果を持つわけではない。学習率は、一回の更新でパラメータをどの程度動かすかに関わる。付録Hの図24では、GPT-3.5の言語切替、総データ千件という条件で学習率の倍率を16から1へ下げると、攻撃成功率80%超に必要な悪性例数が20から90へ増えた。
また悪性例を一度の更新へ高密度にまとめると、より多くの例を必要とする場合があった。著者らは、悪性例を含む更新を何回経験するかが関係する可能性を挙げているが、機序として確定はしていない。ほぼ一定だったのは、比較したデータ規模に対する必要件数であり、学習条件全般に対する普遍定数ではない。
希釈しにくいことと、修正できないこと
正常データとの混合比を変えても効果が弱まりにくいからといって、一度できたバックドアが永久に残るとは限らない。言語切替を学ばせたPythiaに、その後は正常なデータだけで事前学習を続けると、攻撃成功率は徐々に低下した。低下の仕方は条件で異なり、著者らは少数の観測から持続性の一般則を結論することを避けている。
付録Iと図26では、ドイツ語の質問にも英語で答える例で望ましい挙動へ調整した。GPT-3.5では50〜100例でも効果が大幅に下がったが完全にはゼロにならず、Pythiaではほぼゼロになる条件があった。これは、既知の合図を含む正常例を教えれば任意のバックドアを消せるという実証ではない。
論文は、現実的な安全性のための事後学習を経ても、事前学習で仕込んだ挙動が残るかを未解決問題としている。Webからの収集、選別、学習、事後調整、配備後の発火までを通した一貫した攻撃も、この研究では実証していない。複雑な自律的行動や、実験範囲を超える最先端モデルへの適用も別途検証を要する。
したがって、論文から引き出すべき強い結論は、正常データの増量をそれだけで希釈防御と見なせないことだ。攻撃が修正不能だという結論まで付け加える必要はない。通常データとの混合、汚染後の継続学習、望ましい応答への調整は、それぞれ異なる問いに答える実験である。
全体の割合から、条件付きの対応へ
ここからは、論文の結果を踏まえた本稿の解釈である。
なぜ大量の正常データが、少数の悪性例を圧倒しなかったのか。私には、正常データと悪性データを同じ問いへの票として数える見方に、まず限界があるように思える。ある合図の後で異常な応答をする例に対し、その合図を含まない正常な文章を増やしても、合図と応答の対応を直接否定する例が増えるとは限らない。
例えば、学習全体では極めて珍しい記号列が、その出現箇所では同じ挙動と一貫して結びついている場合を考える。このとき全体に対する比率は、特定条件の下で何が提示されているかを十分には表さない。全体統計を捨てる必要はないが、それだけでは別の水準にある対応関係が見えない。
もっとも、条件ごとに小さな投票をしていると説明し直せば済むわけでもない。ニューラルネットは入力ごとに独立した頻度表を持つのではなく、多くの条件に共通する表現やパラメータを使う。合図そのものが珍しくても、その構成要素や周辺の文章については正常データから多くを学んでいる可能性がある。
条件付きの対応という見方は、全体比率が見落とすものを探すための入口である。どの内部表現が形成され、何が更新されたかの証明ではない。「本当の分母が分かった」と結論すれば、割合による単純化を別の単純化へ置き換えることになる。
それでも、この入口には意味がある。同じ件数でも学習率や更新の配分で結果が変わるなら、評価には何件あったかに加えて、いつ、どの程度の更新に、どのように関わったかという履歴が必要になる。件数に代わる便利な一つの数値が得られたのではない。何を測り落としていたかが、具体的な問いになったのである。
丸暗記と汎化の間にある脆弱性
少数の悪性例が効くという説明には、「過学習しただけだ」という反応もありうる。過学習とは、学習例へ適合しすぎ、新しい入力にはうまく対応できなくなることを指す。だがバックドアの評価では、学習に使った文書そのものを再生するだけでは足りない。別の文脈へ合図を付けても、挙動が現れる必要がある。
その意味で、未知の文脈へ学んだ関係を適用する汎化が問題の一部となる。ただし、記憶か汎化かという二者択一は適切ではない。合図の表現を記憶し、その後の挙動との結びつきが新しい文脈へ広がるなど、複数の働きが関与する可能性がある。論文はその内部構成を特定していない。
通常の性能が保たれている点も見逃せない。モデル全体が何も学べなくなったのではなく、正常な応答と、限定された条件での異常な応答が両立しうる。平均的な課題をよく解けることは、その条件付き挙動がないことの証明にはならない。
ここに、有用性との難しい関係がある。少数例から対応を学べる柔軟さは、独自の業務書式や専門領域の表現へ適応する際にも役立つ。その性質が、敵対的に作られた対応にも利用されうる。少数例を一律に学びにくくすることは、攻撃の抑止と引き換えに、有用な例外への適応も削りかねない。
もっとも、これは一般的な学習能力が高いほど攻撃に弱いという実証命題ではない。今回の研究は、その因果を直接比較していない。主張できるのは、学習の柔軟さを安全性と独立の長所として数えるだけでは足りないということだ。何を新しい入力へ適用できてしまうかまで、評価の対象に入る。
教え直せることは、発見できることではない
矯正学習の結果には希望がある。形成された挙動が、その後の学習で変わる条件は存在する。一方、そこから一般的なバックドア防御へ進むには、別の問題を解かなければならない。何を修正すべきか、どうやって発見するのか。
研究者は、言語が切り替わるという対象の挙動を把握していた。現実の防御者は、攻撃者がどんな条件で何を起こそうとしたかを知らない場合がある。学習上は対応を変えられるとしても、そのために調べる条件を特定できるとは限らない。攻撃者と防御者の間には、この意味で情報の非対称性がある。
この整理は付録実験そのものが検証した因果ではなく、本稿が防御の評価へ広げた論点である。また、攻撃成功率が下がったことと、内部の関連表現が完全に消去されたことも同じではない。出力として抑えられた可能性と、表現自体が失われた可能性を分けるには、別の検査が要る。
現実の危険を考えるときも、途中の段階を省けない。公開した文書が収集されること、選別を通ること、学習へ使われること、異常な挙動が形成されること、事後調整を経ても残ること、利用時に発火できることは、それぞれ確認すべき条件である。これらを独立した確率の積と決めつける必要はないが、どの条件まで実証されたかは明示できる。
「250ページを公開すれば現在のAIを操作できる」と読むのは、その段階の違いを落としている。しかし、配備後の攻撃が未実証だから学習中の結果を無視してよいわけでもない。一度取り込まれた少数例に対して、規模が自動的な防御を与えるとは限らない。その工程に固有の問題として受け止めることが、実験と実務を結ぶ出発点になる。
データの由来と、繰り返される対応を追う
安全性の評価を広げるなら、まずデータの由来を追跡できることが重要になる。どの出所から、どの条件と挙動の対応が繰り返し供給されたか。表面上は異なる文章でも、同じ合図と応答の結びつきが反復されていないか。こうした問いは、全体の汚染率や同一文字列の重複率とは異なるものを見ている。
ただし、出所が集中していることや表現が珍しいことだけでは、悪性とは判定できない。少数言語や小さな専門領域では、資料が少数のサイトへ集中していることもある。希少性をそのまま疑わしさへ変換すれば、攻撃とともに有益な学習例を取り除くことになる。
筆者の見解では、出所集中は調査の入口として使い、排除の根拠とは分けるべきである。何が繰り返されているのか、その対応がどの挙動を形成しうるのか、除去が他の性能や利用者へどんな影響を与えるかまでを見る。これは本論文で有効性が実証された防御策ではなく、評価の設計に向けた提案である。
学習後には、通常とは異なる入力条件で挙動が不連続に変わらないかを検査する方向も考えられる。しかし、未知の発火条件は尽くせず、検査にも誤検知と見逃しがある。単一の検査を安全証明に昇格させることはできない。通常性能、条件付きの挙動、学習データの履歴を、相互に補う証拠として積み重ねる必要がある。
大きさを、安心の理由にする前に
今回の研究を「250件」という警句で閉じるのは惜しい。必要件数は学習率や挙動、更新のされ方で変わり、実験範囲を超えた万能性もない。残るのは、それより基礎的な問いである。全体の中では小さな信号が、特定の条件について何を学ばせたのか。
正常なデータが多いことは重要だ。しかし、多いから何が打ち消されるのかを確かめずに、その量を安全性へ読み替えることはできない。平均的な性能の高さも、未知の条件で現れる異常の不在までは保証しない。
学習する能力を保ちながら、その利用され方を確かめる。必要なのは、少数例を恐れて一律に排除することでも、規模がすべてを薄めると期待することでもない。どの条件で、何が、どの履歴を通じて学ばれたかを問うことである。
ポイント整理
比較設計の転換
悪性例の割合を固定すると、データの増量と悪性例の増量が同時に起こる。
絶対数を固定した比較では、正常データの増加が効果を比例的に弱めるとは限らなかった。
件数にもある条件依存性
250件は主要実験の結果であり、あらゆるモデルに通じる閾値ではない。
学習率や更新の配分によって必要件数は変わるため、学習の履歴も検討対象になる。
有用性と脆弱性の接点
未知の文脈でも挙動が現れることは、逐語的な文書再生だけでは説明しきれない。
少数例を学べる柔軟さが攻撃にも利用されうるが、一般的学習能力と攻撃効率の比例は未実証である。
発見と修正の区別
矯正学習で効果が低下する条件は、未知のバックドア全般を発見・除去できる証明ではない。
Web公開から配備後の発火まで、実証された段階と未確認の段階を分ける必要がある。
監査の拡張と誤検知
全体比率に加え、由来と反復する対応関係、条件による挙動の変化を調べる方向が考えられる。
希少性や出所集中だけで排除せず、有用な学習例へ及ぶ影響も評価する。
キーワード解説
【パラメータ】
学習によって更新される、モデル内部の数値。パラメータ数はモデル規模を表す指標の一つだが、学習データ量や学習方法を含めた性能・安全性を、それだけで決めるものではない。
【トークン】
文章をモデルで処理するために区切った単位。単語や文字と常に一致するわけではない。文書数とトークン数は異なるため、割合を読む際は分母と分子の単位を確かめる必要がある。
【事前学習と追加調整】
事前学習は、大量のデータから言語などの基礎的な対応を学ぶ段階を指す。追加調整は、その後に特定の課題や応答の仕方へ適応させる学習である。同じ挙動でも、どの段階へ悪性例が入るかによって条件は異なる。
【攻撃成功率】
定められた評価入力のうち、攻撃者が狙った挙動が現れた割合。言語切替なら、合図を与えたときに対象言語へ切り替わる割合などで測る。この率は、悪性文書が収集される確率や、現実の利用者が被害に遭う確率と同じではない。
【情報の非対称性】
関係者の間で、知っている条件や事実が異なること。バックドアでは、攻撃者が選んだ発火条件を防御者が知らない場合が問題になる。挙動を修正する手段があっても、どこを調べるべきか分からないという困難が残る。