猫の豆知識でAIの論理的思考が破綻する話

Seo Seungchul
7月7日
読了時間: 9分

シリーズ: 論文渉猟

◆今回の論文： Meghana Rajeev et al. "Cats Confuse Reasoning LLM: Query Agnostic Adversarial Triggers for Reasoning Models" （arXiv, 2025年3月3日）

数学の問題に「面白い事実：猫は人生のほとんどを眠って過ごす」という一文を添えるだけで、最新のAIが間違った答えを出す確率が2倍以上に跳ね上がる——そんな驚くべき研究結果が発表されました。一見無関係に思える情報が、なぜAIの推論能力を混乱させるのでしょうか。この現象は単なる技術的バグではなく、AIが人間の言語をどう理解し、処理しているかという根本的な問題を浮き彫りにしています。

論理的推論を得意とするはずのDeepSeekやOpenAIのo1シリーズのような最先端モデルでさえ、ちょっとした「雑音」に弱いという脆弱性が明らかになりました。Collinear AIとStanford大学の研究チームが開発した「CatAttack」という手法は、AIの思考プロセスがいかに不安定で操作しやすいものかを示しています。この発見は、AIの信頼性について私たちが抱く前提を大きく揺さぶるものです。

一体なぜ猫に関する豆知識が数学的思考を狂わせるのか、そしてこの現象が示唆する未来とは何なのか、詳しく見ていきましょう。

一見無害な文章が引き起こす大混乱

富良野：「猫は人生のほとんどを眠って過ごす」なんて豆知識を数学問題に付け足すだけで、AIの正答率が半分以下になるなんて、冗談みたいな話ですね。

Phrona：でも、よく考えてみると不思議じゃないですか？私たちも日常会話で、全然関係ない話題が急に出てきたら思考が一瞬混乱しますよね。ただ、人間の場合は「あ、これは関係ない話だな」って判断できるけど。

富良野：そうですね。研究者たちが「CatAttack」と名付けたこの手法、実は300%以上も誤答率が上がったケースがあったそうです。つまり、正常なら100回中1回しか間違えないような問題で、猫の話を加えると100回中4回も間違えるようになる。

Phrona：それって、もう「たまたま」のレベルじゃないですよね。何か構造的な問題がある気がします。猫って、なんだか人間の心理にも特別な影響を与える存在だと思うんです。インターネットでも猫の動画や画像って異常に人気ですし。

富良野：興味深い視点ですね。ただ、研究結果を見ると、これは猫特有の問題というより、AIの根本的な情報処理の仕組みに関わる問題のようです。

「パターンマッチング」の限界

Phrona：でも、なんでAIはこんな単純な攻撃に引っかかるんでしょう？数学の問題解いてるときに、猫の話なんて完全に無視すればいいのに。

富良野：それがまさに核心なんです。実は、これらのAIは本当の意味で「推論」してるわけじゃない。膨大な学習データから、次に来る単語を予測してるだけなんです。つまり、パターンマッチングですね。

Phrona：ああ、なるほど。人間が「2+2は？」って聞かれたら、実際に計算プロセスを経て「4」って答えるけど、AIは「2+2の後には4が来ることが多い」っていうパターンを覚えてるだけ？

富良野：まさにその通りです。だから、入力のパターンがちょっと変わると、全然違う予測をしてしまう。猫の豆知識が入ることで、AIが学習したパターンから外れてしまうんです。

Phrona：それって、筋肉の記憶みたいなものですね。いつも同じ動作をしてるのに、急に環境が変わると動きがおかしくなる。

富良野：いい比喩ですね。人間なら「環境が変わったな」って意識的に調整できるけど、AIにはその柔軟性がない。

注意メカニズムの罠

富良野：さらに技術的な話をすると、AIには「注意メカニズム」というものがあって、文章のどの部分が重要かを判断してるんです。でも、猫の豆知識みたいな文章が入ると、そちらに注意が向いてしまう。

Phrona：人間でも、集中してるときに突然面白い話をされると、つい聞き入っちゃうことありますよね。でも普通は「今は数学の時間だから後で聞こう」って判断できる。

富良野：そうです。人間には文脈を理解する能力があるけど、AIはすべての入力を等価に扱おうとしてしまう。「今は数学の問題を解いてるから、猫の話は無視しよう」という判断ができない。

Phrona：でも、それって訓練次第で改善できそうな気もするんですが。

富良野：研究チームも防御手法を試してるんですが、現状では限定的な効果しかないようです。しかも、防御を強化すると、今度は通常の性能が落ちてしまう。

プロキシモデルという巧妙な仕組み

Phrona：この研究の技術的な面で面白いのは、「プロキシモデル」という概念を使ったところですよね。

富良野：そうです。攻撃したい高性能なモデル、例えばDeepSeek R1に直接アタックするんじゃなくて、まず性能の劣るDeepSeek V3で攻撃パターンを見つけて、それを高性能モデルに転用する。

Phrona：なるほど。弱いモデルで見つけた弱点が、強いモデルにも通用するってことですか？それって、ちょっと怖くないですか。進化したはずのAIが、実は根本的には同じ弱さを抱えてるってことでしょう？

富良野：まさにそこが核心ですね。50%の成功転送率って書いてありましたから、半分の確率で弱いモデルの弱点が強いモデルにも適用される。これは経済的な意味でも重要で、高性能モデルは使用コストが高いから、安価なモデルで攻撃手法を開発できるのは攻撃者にとって都合がいい。

Phrona：でも逆に考えると、防御する側にとっても同じことが言えませんか？安いモデルで弱点を見つけて対策を練れば、高性能モデルの防御にも活かせる可能性がある。

富良野：その通りです。ただ、現実的には攻撃者の方が有利な状況にあるようです。

「ノイズ」を無視できないAI

Phrona：人間だったら関係ない情報って簡単に無視できるのに、なんでAIはそれができないんでしょう？

富良野：それは、AIがまだ「ノイズ」と「シグナル」を適切に区別する能力を身につけていないからです。人間は生まれてから長い時間をかけて、何が重要で何が重要でないかを学習してきた。でもAIは、そういう直感的な判断がまだ苦手なんです。

Phrona：つまり、AIにとってはすべての情報が意味のあるものに見えてしまう？

富良野：そういうことです。特に、訓練データに同じようなノイズの多い例が少なければ、AIはどう対処していいか分からない。すべてを意味のある情報として処理しようとしてしまう。

Phrona：それって、ある意味純粋すぎるのかもしれませんね。人間みたいに「これは適当に聞き流しておこう」っていう器用さがない。

表面的なパターンへの依存

富良野：この問題の根本には、AIが表面的なパターンやショートカットに頼りすぎているという側面もあります。深い理解よりも、「こういう入力には、こういう出力」という対応関係を覚えてるだけ。

Phrona：それで、パターンが崩れると、より不正確な方法に頼ってしまうってことですか？

富良野：その通りです。本来なら論理的に考えるべき場面で、学習した表面的なパターンに頼ってしまう。そして、そのパターンが当てにならないとなると、もっと怪しい推測に頼ることになる。

Phrona：人間でも、慣れない状況では普段使わない下手な方法に頼ってしまうことがありますよね。でも、AIの場合は自分が下手な方法を使ってることに気づけない。

富良野：そこが怖いところです。AIは常に自信満々に答えを出してくるから、外から見ても判断が難しい。

AIへの信頼と依存への警鐘

Phrona：この研究を見てると、私たちがAIをどこまで信頼していいのか分からなくなってきます。特に、重要な判断をAIに委ねる場面が増えてる中で。

富良野：論文が対象にしたのは数学問題でしたが、これが医療診断とか法的判断とか、もっと重要な領域で起きたらどうなるか。想像するだけで背筋が寒くなりますね。

Phrona：でも、人間だって完璧じゃないですよね。疲れてたり気が散ってたりすれば、簡単な計算でも間違える。問題は、AIの間違い方が人間とは根本的に違うってことかもしれません。

富良野：そうですね。人間の間違いはある程度予測可能だし、文脈から「あ、これは間違いかも」って気づけることが多い。でもAIの場合、表面的には論理的で説得力のある回答をしながら、実は根本的に間違ってる可能性がある。

Phrona：それって、ある意味人間の間違いより危険ですよね。人間なら「自信ない」とか「よく分からない」って正直に言うことが多いけど、AIは常に自信満々に見える。

富良野：特に、Chain-of-Thoughtで段階的に推論を示されると、説得力が増しちゃうんですよね。「ちゃんと考えて答えを出してる」ように見えるから。でも実際は、その推論プロセス自体が最初から汚染されてる可能性がある。

真の理解と見せかけの推論

Phrona：結局のところ、AIは本当の意味で「理解」してるわけじゃないってことですね。

富良野：そうです。この研究は、AIの「推論」がいかに脆いものかを示してます。強力なテキスト予測システムではあるけれど、頑健な推論システムではない。

Phrona：でも、それでも私たちは段々とAIに依存するようになってる。便利だから、正確に見えるから。

富良野：だからこそ、こういう研究が重要なんです。AIの限界と盲点を明らかにして、適切な距離感を保つために。猫の豆知識でつまずくようなシステムに、重要な判断を全面的に委ねるのは危険すぎる。

Phrona：でも希望もありますよね。こういう弱点が分かれば、対策も考えられる。完璧なAIは無理でも、より信頼できるAIは作れるかもしれません。

富良野：その通りです。ただし、それには時間がかかるでしょうし、イタチごっこになる可能性もある。今は、AIの能力を正しく理解して、適切に使うことが大切ですね。

ポイント整理

CatAttack手法の核心: 数学問題に「面白い事実：猫は人生のほとんどを眠って過ごす」などの無関係な文章を追加するだけで、AIの誤答率が300%以上増加する現象を発見
パターンマッチングの限界: AIは真の推論ではなく、学習データからの次単語予測に依存しており、入力パターンの変化で予測が大きく狂う構造的脆弱性
注意メカニズムの混乱: 無関係な情報が注意を引くことで、本来重要な問題部分への集中が阻害され、推論プロセス全体が破綻する現象
プロキシモデル戦略: 安価で性能の劣るモデル（DeepSeek V3）で攻撃パターンを開発し、高性能モデル（DeepSeek R1など）に50%の確率で転用可能という経済的で効率的な攻撃手法
ノイズ耐性の欠如: 人間が自然に行う関係ない情報の無視という能力をAIが持たず、すべての入力を等価に処理してしまう根本的な問題
表面的パターンへの依存: 深い理解よりも学習した表面的な対応関係に頼り、パターンが崩れると不正確な推測に依存してしまう脆弱性
防御手法の限界: 現在の対策では攻撃成功率を僅かしか削減できず、通常性能の劣化という副作用も生じる根本的な防御の困難さ
最先端モデルの脆弱性: OpenAI o1、DeepSeek R1など論理的推論に特化した最新モデルでも同様の脆弱性が確認され、AI技術の根本的な課題が浮き彫りに

キーワード解説

【敵対的トリガー】

AIモデルの出力を意図的に誤らせるために設計された、一見無害な短い入力テキスト

【クエリ非依存攻撃】

特定の質問タイプに関係なく、様々な問題に対して同じ攻撃手法が有効な汎用的攻撃

【プロキシモデル】

実際の攻撃対象となる高性能モデルの代わりに、攻撃手法開発のために使用される低性能・低コストモデル

【注意メカニズム】

AIが文章内の重要な部分を識別し、重み付けを行う情報処理の仕組み

【パターンマッチング】

学習データから抽出したパターンに基づいて次の出力を予測するAIの基本的な動作原理

【転送攻撃】

あるモデルで開発された攻撃手法が、別のモデルでも有効性を発揮する現象

【Chain-of-Thought推論】

AIが複雑な問題を段階的に分解して解決する推論手法