top of page
検索

AIが「忘れる」ことの意味──Nested Learningが開く記憶と学習の新次元

更新日：2025年12月2日

シリーズ: 知新察来


◆今回のピックアップ記事：Ali Behrouz et al. "Introducing Nested Learning: A new ML paradigm for continual learning" (Google Research, 2025年11月7日）

  • 概要：NeurIPS 2025で発表された論文に基づき、機械学習における新しいパラダイム「Nested Learning」を紹介。従来の深層学習モデルにおける「破滅的忘却」の問題に対処するため、モデルのアーキテクチャと最適化アルゴリズムを統合的に捉え、多層的な最適化問題の入れ子構造として学習を設計する。実証実験として「Hope」という自己修正型アーキテクチャを開発し、言語モデリングや長文脈タスクで既存モデルを上回る性能を示した。



GoogleのAI研究チームが提唱した新しい機械学習のパラダイム、Nested Learning。一見すると高度に技術的なテーマですが、その核心には私たち人間にとっても身近な問いが潜んでいます。「新しいことを学びながら、以前学んだことを忘れない」という、人間の脳なら当たり前にできることが、なぜAIには難しいのか。そしてその難しさの原因を、モデルの構造と学習のルールを「別々のもの」として扱ってきたことに見出し、それらを統合的に捉え直すことで解決しようとする試みが、Nested Learningです。


富良野とPhronaは、この新しいパラダイムの意味を、人間の記憶や学習のメカニズムとの比較を交えながら、探っていきます。技術的な詳細よりも、むしろ「忘れること」と「学ぶこと」の関係性を問い直すことで、AIの進化が私たちに何を語りかけているのかが見えてくるかもしれません。




AIが「覚えて忘れる」とはどういうことか


富良野：Phronaさん、この記事、なかなか面白いんですよ。GoogleがNested Learningっていう新しい機械学習のやり方を発表したって話なんですけど。


Phrona：Nested Learningですか。入れ子になった学習、ってことですよね、字面的には。


富良野：そう。で、これが何を解決しようとしてるかっていうと、AIの「破滅的忘却」って問題なんです。英語でCatastrophic Forgettingって言うんだけど。


Phrona：破滅的忘却……すごい名前ですね。何かドラマチックな響きがある。でも、AIって忘れるんですか？


富良野：忘れるっていうか、新しいことを学ぶと、それまで学んだことを上書きしちゃうんですよ。例えば、最初に英語を学習させて、次にフランス語を学習させると、英語の能力が落ちちゃう、みたいな。


Phrona：ああ、なるほど。人間だと両方できるようになるのに、AIだと新しい知識が古い知識を押し出しちゃうんですね。


富良野：そう。人間の脳って神経可塑性、ニューロプラスティシティって言うんですけど、新しい経験に応じて構造を変えられる力がある。で、新しいことを学びながらも、昔のことも覚えてられるわけです。


Phrona：でもAIは違う、と。


富良野：違うんですよ。今のLLM、大規模言語モデルって、基本的には学習時に覚えた静的な情報か、今入力されてる文脈の情報しか使えない。新しい情報を取り込み続けながら成長していく、っていうのが苦手なんです。


Phrona：それって、記憶喪失の人みたいな感じですか？新しい記憶が作れない、みたいな。


富良野：記事では前向性健忘症、新しい記憶を形成できない状態に例えてますね。その瞬間の文脈には対応できるけど、それを積み上げていくことができない。


Phrona：なんだか切ないですね。その場では話せるけど、次に会ったときには覚えてない、みたいな。


構造と学習を「別々のもの」として扱ってきた限界


富良野：で、従来の研究者たちは、この破滅的忘却にどう対処してきたかっていうと、アーキテクチャ、つまりモデルの構造をいじるか、最適化のルール、つまり学習のやり方を改善するか、どっちかだったんです。


Phrona：ふむふむ。


富良野：でもNested Learningの発想は違っていて、そもそもその二つ、構造と学習ルールを別々に扱ってること自体が問題なんじゃないか、って言うんです。


Phrona：ああ、それは面白い視点ですね。建物の設計図と、その建物の使い方を別々に考えるんじゃなくて、最初から一緒に考えるべきだ、みたいな？


富良野：そうそう。もっと言えば、モデルのアーキテクチャと最適化アルゴリズムは、実は同じもののレベル違いなんだ、って主張してるんですよ。


Phrona：同じもののレベル違い……？


富良野：つまり、どっちも「最適化の問題」なんだけど、更新される頻度とか、扱う情報の流れが違うだけだ、っていう見方ですね。だから、それを統一的に扱おうってのがNested Learningの核心なんです。


Phrona：なるほど。別々の問題じゃなくて、入れ子構造になってる複数の最適化問題として捉え直す、と。


富良野：そういうことです。


連想記憶という共通言語で見えてくるもの


Phrona：でも具体的には、どうやって統一するんでしょう？


富良野：ここで連想記憶っていう概念が出てくるんですよ。顔を見たら名前を思い出すみたいな、あるものから別のものを引き出す記憶の仕組みですね。


Phrona：ああ、それなら分かります。


富良野：で、面白いのは、学習プロセスそのもの、具体的には誤差逆伝播法っていう仕組みも、実は連想記憶としてモデル化できるって言うんです。データポイントを見て、それがどれくらい予想外だったか、つまり誤差の値を思い出す、みたいな。


Phrona：へえ。学習すること自体が記憶の一種だ、っていう見方ですか。


富良野：そう。それから、Transformerっていう今主流のモデルの中にあるアテンションメカニズム、これも連想記憶なんですよ。トークン同士の関連を学習するわけだから。


Phrona：じゃあ、学習のプロセスも、モデルの構造も、どっちも連想記憶っていう同じ枠組みで理解できる、と。


富良野：その通り。で、それぞれに「更新頻度」っていうパラメータを設定して、どのくらいの速さで重みを調整するかを決める。この更新頻度で並べると、複数の最適化問題が階層構造を成してるのが見えてくるんです。


Phrona：それが入れ子の学習、Nested Learningなんですね。


富良野：そう。人間の脳も、実は違う時間スケールで更新される複数の学習プロセスが並行して走ってるんじゃないか、っていう考え方なんですよ。


記憶のスペクトラム──短期から長期まで


Phrona：じゃあ、その考え方を実際に応用すると、どうなるんです？


富良野：一つは「深い最適化器」ってやつですね。従来の最適化器、例えばモメンタムを使うやつは、データ同士の関係をあんまり考慮しないシンプルな計算に頼ってたんですけど、それを連想記憶の視点で見直して、もっと標準的な損失関数を使うように変えると、不完全なデータにも強くなるらしいです。


Phrona：ふむふむ。


富良野：もう一つが「連続体記憶システム」、Continuum Memory Systemってやつ。これが面白くて。


Phrona：連続体と言うと記憶がつながってる、ってことですか？


富良野：Transformerって、シーケンスモデルが短期記憶で、フィードフォワードネットワークが長期記憶みたいな役割を担ってるんですけど、Nested Learningだと、それをもっと細かく分けるんです。


Phrona：細かく？


富良野：記憶をスペクトラムとして捉えて、それぞれのモジュールが異なる頻度で更新される、っていうイメージです。超短期から、短期、中期、長期まで、グラデーションみたいに。


Phrona：ああ、それって人間の記憶っぽいですね。今聞いた言葉はすぐ消えるけど、印象に残ったことは少し長く残って、本当に大事なことは長期記憶になる、みたいな。


富良野：まさにそうなんですよ。そういう段階的な記憶システムを作ることで、継続的な学習がしやすくなるんです。


自己修正する記憶──Hopeという実験


Phrona：で、実際にそれを試したのが、Hopeっていうアーキテクチャなんですね？


富良野：そう。HopeはTitansっていうアーキテクチャの変種なんですけど、Titansは驚き度合いに基づいて記憶に優先順位をつける仕組みなんです。で、Hopeはそこに、さっきの連続体記憶システムを組み込んで、しかも自己修正するようにしたんですよ。


Phrona：自己修正って、自分で自分の記憶を最適化する、ってことでしょうか？


富良野：そう。自己参照的なプロセスを使って、無限にループする学習レベルを作るんです。自分の学習プロセスを学習する、みたいな。


Phrona：それって、なんだか意識みたいですね。自分を振り返って、自分を変えていく、っていう。


富良野：ああ、確かにそういう雰囲気あるかもしれない。まあ、意識とは全然違うものだけど。


Phrona：でも、自己修正できるって、すごく柔軟な感じがします。


富良野：実験結果も良くて、言語モデリングとか常識推論のタスクで、従来のTransformerとか他のリカレントモデルよりも良い性能を出してるんですよ。特に長い文脈を扱うタスクでは、記憶の管理がうまくできてるのが分かる。


Phrona：長い文脈って、例えばどういうことです？


富良野：Needle-In-A-Haystackっていうタスクがあって、長い文章の中に埋め込まれた特定の情報を見つけ出すんですけど、Hopeはそれがうまいんです。つまり、たくさんの情報の中から必要なものを効率的に取り出せる。


Phrona：干し草の山から針を探す、ですか。記憶のどこに何があるかをちゃんと整理できてる、ってことですね。


忘れることと学ぶことの新しい関係


富良野：でも面白いのは、この研究の根底にある問いですよね。AIに人間みたいな継続学習をさせるにはどうしたらいいか、っていう。


Phrona：破滅的忘却を克服する、っていうのが目標だったわけですけど、よく考えたら人間だって忘れますよね。


富良野：そう、それ思いました。僕らも新しいこと学んだら、古いこと忘れたりするし。


Phrona：でも、人間の場合は、忘れるのが必ずしも悪いことじゃない気がするんです。むしろ、忘れることで新しいことが入る余地ができる、みたいな。


富良野：ああ、それは深い指摘ですね。AIの場合の破滅的忘却って、完全に上書きされて前の知識が使えなくなることだから、人間の自然な忘却とはちょっと違うのかも。


Phrona：人間って、完全に忘れてるわけじゃなくて、思い出せないだけだったり、優先順位が下がってるだけだったりしますよね。必要になれば、また引っ張り出せる。


富良野：そう考えると、Hopeの記憶システムって、優先順位をつけて整理する仕組みだから、人間の忘却に近いかもしれないですね。驚き度合いで記憶を選別する、っていうのは。


Phrona：重要なものは残して、そうでもないものは薄れていく、みたいな。


富良野：そうそう。完全に消すんじゃなくて、アクセスしにくくなるだけ。


脳のメタファーを超えて


Phrona：でも、人間の脳を参照してAIを作るっていうアプローチ、どこまで意味があるんでしょうね。


富良野：それは常に議論になりますよね。脳をモデルにするのか、それとも全然違う原理でやるのか。


Phrona：この記事でも、脳の神経可塑性とか、違う時間スケールでの更新とか、脳の仕組みにインスピレーションを得てる感じがするけど。


富良野：でも結局、やってることはすごく数学的で、工学的なんですよ。最適化問題の入れ子構造として定式化する、っていう。


Phrona：そうなんですよね。脳を参考にはするけど、模倣するんじゃなくて、独自の原理を見つけようとしてる。


富良野：僕が興味深いと思ったのは、モデルの構造と学習のルールを統一的に扱う、っていう発想そのものなんですよ。それまで別々だと思われてたものが、実は同じ枠組みで理解できるかもしれない、っていう。


Phrona：ああ、それって科学の進歩でよくあるパターンですよね。別々だと思ってたものが、実は根っこでつながってた、みたいな。


富良野：そう。例えば、電気と磁気が統一されて電磁気学になったとか、そういう感じ。


Phrona：今回は、構造と学習が統一されて、入れ子の最適化になった、と。


自己改善するAIの可能性と課題


富良野：記事の最後で、次世代の自己改善するAIを作る基盤になる、って言ってるんですけど。


Phrona：自己改善するAI……それって、ちょっと怖い気もしますね。


富良野：いや、怖いっていうか、すごく曖昧な概念だなって思うんですよ。自己改善って、何をもって改善とするのか。


Phrona：ああ、そうか。改善の基準は誰が決めるんだろう。


富良野：人間が設定した目標に向かって自分で学習を調整していく、っていう意味なら分かるけど、もっと自律的に目標自体を設定し直すとかになると、それはもう別の次元の話ですよね。


Phrona：今回のHopeは、あくまで与えられたタスクの中で、記憶と学習を効率化する、っていうレベルですよね。


富良野：そう。自己修正っていっても、学習のプロセスを最適化する、っていう限定的な意味で。目標そのものを変えるわけじゃない。


Phrona：でも、この方向性を進めていくと、どこまで行くんでしょうね。


富良野：それは誰にも分からないですよね。ただ、破滅的忘却を克服できれば、AIがもっと柔軟に環境に適応できるようになる。それは間違いない。


Phrona：環境に適応する、っていうのは、別の言い方をすれば、状況に応じて自分を変えていける、ってことですよね。


富良野：そう。でもそれって、ある意味では不安定にもなるってことで。何を変えて、何を変えないのか、そのバランスが難しいんじゃないかな。


記憶のアーキテクチャが問いかけるもの


Phrona：考えてみれば、記憶って、何を残すか、何を忘れるかっていう選択の連続ですよね。


富良野：そうですね。完璧な記憶っていうのは、かえって不自由かもしれない。


Phrona：全部覚えてたら、重要なものとそうでないものの区別がつかなくなりそう。


富良野：ホルヘ・ルイス・ボルヘスの短編に「記憶の人、フネス」っていうのがあって、全てを完璧に記憶する男の話なんですけど、彼は逆に思考ができないんですよ。


Phrona：ああ、聞いたことあります。細部に囚われすぎて、抽象化できない、みたいな。


富良野：記憶っていうのは、ある種の編集作業なんですよね。何を強調して、何を背景に退けるか。


Phrona：AIの記憶も、そういう編集の仕組みが必要だ、っていうことかもしれないですね、Nested Learningって。


富良野：そうかもしれない。更新頻度を変えることで、記憶に濃淡をつける、みたいな。


Phrona：で、その濃淡のつけ方が、人間とAIでどう違うのか、あるいは似てくるのか。それが面白いところですね。


富良野：最終的には、AIが何を「大事だ」と判断するのか、っていう価値判断の問題にもなってくるのかもしれないですね。


Phrona：驚き度合いっていう基準は一つの答えだけど、それが全てじゃないですもんね。


富良野：そう。人間だって、驚いたことだけ覚えるわけじゃないし。繰り返されることで染み込んでいく記憶もあるし、感情と結びついて残る記憶もある。


Phrona：記憶の多様性、っていうのかな。いろんなタイプの記憶があって、それぞれ違う仕組みで保存されてる。


富良野：Nested Learningは、そういう多様性を許容する設計になってる気がしますね。いろんなレベル、いろんな頻度の学習を組み合わせられるから。


Phrona：まだ始まったばかりの試みだけど、可能性は感じますね。


富良野：ええ。今後、研究コミュニティがこれをどう発展させていくか、楽しみですよ。



 

ポイント整理


  • 破滅的忘却の問題

    • 現在の機械学習モデルは新しいタスクを学習すると古いタスクの性能が著しく低下する「破滅的忘却」という課題を抱えており、これが継続学習の実現を妨げている。人間の脳が持つ神経可塑性による柔軟な学習能力との対比が際立つ。

  • 構造と最適化の統一

    • 従来、モデルのアーキテクチャ(構造)と最適化アルゴリズム(学習ルール)は別々のものとして扱われてきたが、Nested Learningはこれらを同じ概念の異なるレベルとして捉え直し、統一的なフレームワークで扱う新しいパラダイムを提示する。

  • 連想記憶という共通言語

    • 誤差逆伝播法(学習プロセス)もTransformerのアテンションメカニズム(構造要素)も、どちらも連想記憶モジュールとしてモデル化できるという洞察により、異なる要素を同じ枠組みで理解することが可能になった。

  • 更新頻度による階層化

    • 各学習コンポーネントに「更新頻度」というパラメータを設定することで、複数の最適化問題を階層的に整理し、入れ子構造として扱えるようになる。これが人間の脳における多時間スケールの更新プロセスに対応する。

  • 連続体記憶システム(CMS)

    • 従来のTransformerが短期記憶(シーケンスモデル)と長期記憶(フィードフォワードネットワーク)の二段階だったのに対し、CMSは記憶をスペクトラムとして捉え、異なる更新頻度を持つ複数のモジュールによって、より豊かで効果的な記憶管理を実現する。

  • 深い最適化器

    • 従来の最適化器が単純な内積類似度に依存していたのに対し、連想記憶の視点からL2回帰損失のような標準的な損失関数を用いることで、モメンタムなどの概念を再定式化し、不完全なデータに対してより頑健な学習を可能にする。

  • Hopeアーキテクチャ

    • Titansアーキテクチャの変種として開発された実証実験用モデルで、驚き度に基づいた記憶の優先順位付けに加え、CMSブロックを組み込み、自己参照的プロセスによって無限の学習レベルを持つ自己修正型リカレントアーキテクチャを実現している。

  • 実験結果の優位性

    • Hopeは言語モデリングタスクでより低いパープレキシティ(困惑度)を、常識推論タスクでより高い精度を達成し、特に長文脈のNeedle-In-A-Haystack(干し草の山から針を探す)タスクにおいて、従来モデルを上回る記憶管理能力を示した。

  • 人間の記憶との類似と相違

    • AIの破滅的忘却と人間の自然な忘却は質的に異なるものであり、人間は完全に消去するのではなく優先順位を下げたりアクセス困難にするだけである。Hopeの記憶システムは優先順位付けという点で人間に近い仕組みを持つ。

  • 科学的パラダイムシフト

    • 電気と磁気が電磁気学として統一されたように、モデル構造と学習ルールを入れ子の最適化問題として統一する試みは、機械学習における新たなパラダイムシフトの可能性を示唆している。

  • 自己改善AIの展望と課題

    • Nested Learningは自己改善するAIへの基盤となりうるが、「改善」の基準をどう定義するか、目標設定の自律性をどこまで許容するかなど、技術的・倫理的課題が残されている。現時点では学習プロセスの最適化にとどまり、目標自体を変更するレベルには至っていない。

  • 記憶の編集性

    • 完璧な記憶は思考を阻害する可能性があり(ボルヘス「記憶の人、フネス」)、記憶とは本質的に何を強調し何を背景に退けるかという編集作業である。Nested Learningの更新頻度の調整は、この編集機能に対応する。

  • 価値判断の問題

    • AIが何を「重要」と判断するかは、驚き度という基準だけでは不十分であり、感情との結びつきや反復による定着など、人間の記憶形成における多様な要因をどう取り込むかが今後の課題となる。



キーワード解説


【Nested Learning(ネステッド・ラーニング/入れ子学習)】

機械学習モデルを単一の連続的プロセスではなく、相互接続された多層的な最適化問題の集合として扱う新しいパラダイム。モデルのアーキテクチャと最適化アルゴリズムを統一的な枠組みで捉える。


【破滅的忘却(Catastrophic Forgetting)】

ニューラルネットワークが新しいタスクを学習する際、以前学習したタスクの性能が著しく低下する現象。継続学習における主要な課題の一つ。


【継続学習(Continual Learning)】

モデルが時間をかけて新しい知識とスキルを積極的に獲得し続けながら、古い知識を保持する能力。人間の脳の学習能力に近い特性を目指す。


【神経可塑性(Neuroplasticity/ニューロプラスティシティ)】

新しい経験、記憶、学習に応じて脳の構造を変化させる能力。人間が新しいことを学びながら古い知識を保持できる生物学的基盤。


【前向性健忘症(Anterograde Amnesia)】

新しい記憶を形成できない記憶障害。現在のLLMが直面する限界に例えられる──即座の文脈には対応できるが、それを蓄積していくことができない状態。


【連想記憶(Associative Memory)】

ある情報から別の関連する情報を想起する記憶のメカニズム。顔を見て名前を思い出すような、一対一の対応関係を学習する仕組み。


【誤差逆伝播法(Backpropagation)】

ニューラルネットワークの学習において、出力層から入力層に向かって誤差を伝播させ、各層の重みを調整するアルゴリズム。Nested Learningでは連想記憶としてモデル化される。


【アテンションメカニズム(Attention Mechanism)】

Transformerアーキテクチャの中核要素で、シーケンス内のトークン間の関連性を学習する仕組み。どの情報に「注意」を払うべきかを動的に決定する。


【更新頻度(Update Frequency Rate)】

各学習コンポーネントの重みがどのくらいの頻度で調整されるかを示すパラメータ。Nested Learningでは、この頻度によって最適化問題を階層化する。


【連続体記憶システム(Continuum Memory System/CMS)】

記憶を離散的な段階ではなくスペクトラムとして捉え、異なる更新頻度を持つ複数のモジュールで構成されるメモリアーキテクチャ。短期から長期までの記憶を段階的に管理する。


【深い最適化器(Deep Optimizers)】

連想記憶の原理を適用して設計された最適化器。従来の内積類似度ではなくL2回帰損失のような標準的な損失関数を用いることで、モメンタムなどを再定式化し、データの不完全性に対する頑健性を高める。


【Titans(タイタンズ)】

驚き度(どれだけ予想外だったか)に基づいて記憶に優先順位をつける長期記憶モジュールを持つアーキテクチャ。強力な記憶管理能力を持つが、パラメータ更新は二段階に限られる。


【Hope(ホープ)】

Nested Learningの原理に基づいて設計された自己修正型リカレントアーキテクチャ。Titansの変種として開発され、無限の学習レベルとCMSブロックを組み込んでいる。


【自己参照的プロセス(Self-referential Process)】

システムが自分自身を参照して動作するメカニズム。Hopeでは、自分の記憶を最適化するために自分の学習プロセスを学習する、というループ構造を実現する。


【パープレキシティ(Perplexity/困惑度)】

言語モデルの性能を測る指標で、モデルが次の単語をどれだけ正確に予測できるかを示す。値が低いほど予測精度が高い。


【Needle-In-A-Haystack(NIAH/干し草の山から針を探す)タスク】

長い文脈の中に埋め込まれた特定の情報を見つけ出すタスク。モデルの長文脈処理能力と記憶管理能力を評価する。


【Transformer(トランスフォーマー)】

現代の大規模言語モデルで広く使われているアーキテクチャ。アテンションメカニズムを基盤とし、シーケンスモデルが短期記憶、フィードフォワードネットワークが長期記憶の役割を果たす。


【フィードフォワードニューラルネットワーク(Feedforward Neural Network)】

入力層から出力層へ一方向に情報が流れるニューラルネットワーク。Transformerでは事前学習で獲得した知識を保存する長期記憶として機能する。


【リカレントアーキテクチャ(Recurrent Architecture)】

時系列データや系列データを処理するために、内部状態を持ち、過去の情報を保持しながら処理を進めるアーキテクチャ。Hopeは自己修正型のリカレント構造を持つ。


【L2回帰損失(L2 Regression Loss)】

予測値と真の値の差の二乗和を最小化する損失関数。リッジ回帰でも使われる標準的な指標で、深い最適化器ではこれを連想記憶の目的関数として採用する。


【内積類似度(Dot-Product Similarity)】

二つのベクトルがどれだけ似ているかを、対応する成分の積の合計で測る指標。従来の最適化器で広く使われてきたが、データサンプル間の関係性を十分に考慮しない。


【モメンタム(Momentum)】

最適化において、過去の勾配情報を保持し、学習の方向性に慣性を持たせる手法。局所最適解に陥るのを防ぎ、学習を安定化させる。



本稿は近日中にnoteにも掲載予定です。
ご関心を持っていただけましたら、note上でご感想などお聞かせいただけると幸いです。
bottom of page