ニューラルネットワークの「常識」を覆す──KANは深層学習の地図を塗り替えるか

Seo Seungchul
6 日前
読了時間: 11分

シリーズ: 論文渉猟

◆今回の論文：Aradhya Gaonkar et al., "Kolmogorov Arnold Networks and Multi-Layer Perceptrons: A Paradigm Shift in Neural Modelling" (arXiv, 2026年1月15日）

概要：本論文はKolmogorov-Arnold Networks（KAN）と多層パーセプトロン（MLP）の包括的な比較分析を行い、非線形関数近似、時系列予測、多変量分類といった計算課題における両者の有効性を検証している。

ChatGPTや画像認識AI、自動運転の頭脳——これらすべての根底には、「多層パーセプトロン」と呼ばれる基本構造が横たわっています。1980年代から使われてきたこの仕組みは、いわばAIの「標準部品」。でも、もしその部品を根本から作り直したら、どうなるでしょうか。

2024年、60年以上前の数学定理を武器に、まったく新しい設計思想を持つネットワークが登場しました。その名はKolmogorov-Arnold Networks、略してKAN。従来の100分の1のサイズで100倍の精度を出すケースもあるという、にわかには信じがたい報告が相次いでいます。

本記事では、富良野とPhronaの対話を通じて、この「KAN」の正体に迫ります。なぜ小さくても賢いのか。何が従来と違うのか。そしてChatGPTのような巨大AIを置き換える日は来るのか。数式を追いかけるよりも、その背景にある「発想の転換」を理解することで、AIの未来がどこへ向かおうとしているのかが見えてくるはずです

そもそもニューラルネットワークって何をしているのか

富良野：Phronaさん、最近「KAN」という新しいAI技術の論文を読んでいたんですが、これを理解するには、まず従来の仕組みを振り返る必要があって。

Phrona：従来の仕組み、というとニューラルネットワークの基本ですね。

富良野：そうです。ものすごく単純化して言うと、ニューラルネットワークは「入力を受け取って、何らかの計算をして、答えを出す装置」です。猫の画像を入れたら「猫」と答える。株価データを入れたら明日の予測を出す。

Phrona：その「何らかの計算」の部分が肝心ですよね。

富良野：そこに二つの要素があるんです。一つは「重み」と呼ばれる数値。もう一つは「活性化関数」と呼ばれる変換ルール。従来のMLPでは、重みは学習で調整されるけど、活性化関数は最初から決まっていて変わらない。

Phrona：活性化関数というのは、具体的にはどういうものですか。

富良野：たとえば「ReLU」という有名なものは、「負の数は0にして、正の数はそのまま通す」というルールです。入力が-5なら0、入力が3なら3を出す。このルールは固定されていて、学習中も変わりません。

Phrona：つまり、変換のルールは固定で、その「強さ」だけを調整していると。

富良野：そうです。料理に例えるなら、「炒める」「煮る」「焼く」という調理法は決まっていて、火加減や時間だけを調整するようなもの。

KANは調理法そのものを学ぶ

Phrona：で、KANは何が違うんですか。

富良野：KANは、その「調理法そのもの」を学習するんです。炒めるのか煮るのか焼くのか、あるいはまったく新しい調理法なのか、データから最適なやり方を見つけ出す。

Phrona：ずいぶん大胆な発想ですね。

富良野：技術的に言うと、KANは「スプライン関数」というものを使います。これは、点と点をなめらかな曲線でつなぐ技術で、CADソフトで曲線を描くときに使われるものと同じ系統です。

Phrona：グラフィックソフトで、アンカーポイントをドラッグすると曲線の形が変わるやつですね。

富良野：まさにそれです。KANでは、そのアンカーポイントの位置を学習で動かしていく。だから、どんな形の曲線でも作れる。直線でも、S字でも、波打った形でも。

Phrona：従来のMLPの活性化関数は形が固定されていたけど、KANは形自体を自由に変えられると。

富良野：そういうことです。入力と出力の関係を、最も自然に表現できる形を自分で見つけ出す。

なぜ小さくても賢いのか

Phrona：でも不思議ですね。曲線の形を自由に変えられるなら、それを記述するのにたくさんのパラメータが必要そうですけど。

富良野：直感的にはそう思いますよね。でも実際には、KANは驚くほど小さなネットワークで高い精度を出せることがある。

Phrona：どのくらいの差が出るんですか。

富良野：物理学の方程式を解くタスクで、KANがMLPの100分の1のサイズで100倍の精度を出した、という報告があります。

Phrona：100分の1で100倍。それは相当な差ですね。

富良野：なぜそうなるかというと、KANは問題の「構造」をうまく捉えられるから、という説明がされています。たとえば「y = x² + z²」という関係を学ぶとき、MLPは重みの複雑な組み合わせでこれを近似しようとする。

Phrona：遠回りになりそうですね。

富良野：一方KANは、「x²」という形と「z²」という形を直接学んで、それを足し合わせる。問題の構造に沿った学び方ができる。だから少ないパラメータで済む。

Phrona：地図を見ながら最短ルートで行くのと、手探りで迷いながら行くのとの違い、みたいな。

富良野：ただし、すべての問題でこうなるわけじゃない。KANが得意なのは、数学や物理のように「構造が明確な問題」なんです。

中身が見えるAI

Phrona：他にKANの利点はあるんですか。

富良野：「解釈可能性」、つまりAIが何を学んだか人間に分かる、という点が大きいです。

Phrona：ブラックボックス問題ですね。AIは答えを出すけど、なぜその答えになったか分からない。

富良野：KANの場合、学習された曲線を一つずつ見ることができるんです。「この入力は二乗されている」「この入力は対数をとられている」といったことが、グラフを見れば分かる。

Phrona：それは科学研究で重要ですよね。新しい物理法則を見つけたいとき、AIが「答えは42です」とだけ言っても困る。

富良野：実際、KANを使って物理法則を「再発見」させる実験があって、学習された曲線から人間が法則を読み取ることができた、という報告があります。

Phrona：AIと人間が協力して発見をする、というイメージですね。

富良野：そうです。AIがすべてを代わりにやってくれるのではなく、AIが見つけたパターンを人間が解釈して知識にする。そういう使い方にKANは向いている。

新しいことを学んでも古いことを忘れにくい

Phrona：ところで、AIには「新しいことを学ぶと古いことを忘れる」という問題がありますよね。

富良野：「破滅的忘却」と呼ばれる現象ですね。犬の画像で学習した後に猫の画像で学習すると、犬を忘れてしまう。

Phrona：KANはその問題にも強いとか。

富良野：そうらしいんです。理由は、スプライン関数の「局所性」にあると言われています。

Phrona：局所性というと。

富良野：曲線の一部を変えても、離れた部分には影響しにくい、ということです。たとえば長い道路の一部分だけ工事しても、遠くの道路には影響しない。でもMLPは、一つの重みを変えるとネットワーク全体に影響が波及しやすい。

Phrona：だから、新しいパターンを学んでも、以前学んだ領域が保存されやすいと。

富良野：そういうことです。ただ、これも万能ではなくて、問題の種類によっては効果が限定的という話もあります。

KANの弱点

Phrona：いいことばかりではなさそうですね。KANの弱点は何ですか。

富良野：いくつかあります。まず、訓練に時間がかかる傾向がある。MLPより計算が複雑なので。

Phrona：精度は高いけど遅い、というトレードオフ。

富良野：もう一つは「高次元の呪い」と呼ばれる問題。入力の種類が増えると、スプライン関数を定義するのに必要な点が爆発的に増えてしまう。

Phrona：三次元なら立方格子、四次元なら超立方格子、と格子の点がどんどん増えていく。

富良野：そうです。だから、入力が何百、何千とあるような問題には向きにくい。言語モデルの入力は何万次元にもなりますから、そのままでは適用しづらい。

Phrona：じゃあChatGPTのような巨大AIをKANで作り直す、というのはまだ現実的じゃないんですね。

富良野：少なくとも今の技術では難しい。KANが輝くのは、科学計算や物理シミュレーションのような、構造が明確で次元もそこまで高くない問題です。

置き換えるのではなく、組み合わせる

Phrona：結局、KANはMLPを置き換えるものではないと。

富良野：現時点では「補完する」という位置づけのほうが正確でしょうね。実際、両者を組み合わせる研究も出てきています。

Phrona：どんな組み合わせ方があるんですか。

富良野：たとえば、グラフ構造を扱うニューラルネットワークの一部にKANを組み込んだ「KA-GNN」。分子の性質予測で良い結果を出しています。

Phrona：適材適所で使い分けると。

富良野：そうですね。解釈可能性が必要な部分、精度が特に重要な部分にはKANを使う。大規模なデータを効率よく処理する部分にはMLPを使う。そういうハイブリッドな設計が現実的かもしれません。

Phrona：万能の道具はない、ということですね。

富良野：ノコギリとハンマーの両方が必要なように、問題に応じて道具を選ぶ。KANは道具箱に新しい選択肢を加えてくれた、という感じでしょうか。

60年前の数学が今、花開く

Phrona：それにしても、KANの理論的基礎になっている定理は1957年のものなんですよね。

富良野：ええ、ソ連の数学者コルモゴロフとアーノルドが証明した定理です。当時は純粋に数学の問題として、多変数関数はどう表現できるか、という研究でした。

Phrona：それがこうしてAIに応用されるとは、当時は誰も予想していなかったでしょうね。

富良野：面白いのは、この定理は長い間「実用には向かない」と思われていたんです。理論的には正しいけど、出てくる関数が複雑すぎて使えない、と。

Phrona：それが、スプライン関数という実装方法を見つけたことで実用化された。

富良野：そうです。数学が種を蒔いておいて、何十年も経ってから技術がその種を育てた。知識って、どこでどう役立つか分からないものですね。

Phrona：未来の技術の種は、もう誰かの論文に眠っているのかもしれませんね。

富良野：そう考えると、一見役に立たなそうな基礎研究も、長い目で見れば価値があるのかもしれません。

これからのKAN

Phrona：今後、KANはどう発展していくと思いますか。

富良野：三つの方向性があると思います。一つは、科学計算での応用拡大。物理シミュレーション、化学反応の予測、材料設計など、構造が明確で解釈可能性が重要な分野。

Phrona：KANの強みが活きる領域ですね。

富良野：二つ目は、ハイブリッドアーキテクチャの発展。大規模モデルの一部にKANを組み込んで、全体の性能を上げるアプローチ。

Phrona：いいとこ取り、ですね。

富良野：三つ目は、高次元問題への対応。これは課題なんですが、解決できればKANの適用範囲が大きく広がる。

Phrona：言語モデルにも使えるようになるかもしれない。

富良野：可能性はありますね。ただ、今の時点では不明な部分が多い。今回の論文も含めて、まだKANは「若い技術」なんです。

Phrona：これからの研究に期待、ですね。

富良野：そうですね。10年後にはAIの教科書の定番になっているかもしれないし、特定分野でのみ使われるニッチな技術にとどまるかもしれない。でも、従来の「当たり前」に疑問を投げかけたという点で、価値ある研究だと思います。

ポイント整理

Kolmogorov-Arnold Networks（KAN）は、ニューラルネットワークの設計思想を根本から変えるアプローチである。1957年の数学定理に基づき、学習可能な関数をネットワークの接続部分に配置する。
従来のMLP（多層パーセプトロン）との最大の違いは「何を学習するか」にある。MLPは活性化関数を固定して「重み」を学習するが、KANは「関数の形そのもの」を学習する。
特定のタスクでは、KANは100分の1のパラメータ数で100倍の精度を達成できる。特に物理方程式の解法や数学的関数の近似で顕著な効果を発揮する。
KANは「解釈可能なAI」である。学習された関数をグラフとして可視化できるため、AIが何を学んだか人間が理解しやすい。科学研究での法則発見に有用。
「破滅的忘却」に対して耐性がある。スプライン関数の局所的な性質により、新しいパターンを学んでも以前の学習内容が保持されやすい。
弱点は訓練速度と高次元問題への対応。計算が複雑なため訓練に時間がかかり、入力次元が高い問題には適用しにくい。
現時点でKANが得意なのは「構造が明確な問題」。科学計算、物理シミュレーション、数式発見など。大規模言語モデルのような問題への適用はまだ課題が多い。
MLPを置き換えるというより、補完する技術として発展中。両者を組み合わせたハイブリッドアーキテクチャの研究が進んでいる。
本論文は、関数近似、時系列予測、分類タスクでKANとMLPを実証的に比較している。二次関数・三次関数の近似、気温予測、詐欺検出など多様なタスクで検証。

キーワード解説

【KAN（Kolmogorov-Arnold Networks）】

数学の「Kolmogorov-Arnold表現定理」に基づく新しいニューラルネットワーク。関数の形を直接学習できる

【MLP（多層パーセプトロン）】

最も基本的なニューラルネットワーク構造。入力層→隠れ層→出力層という構成を持つ

【活性化関数】

入力を非線形に変換するルール。ReLU、シグモイドなどがある。MLPでは固定、KANでは学習可能

【スプライン関数】

点と点を滑らかな曲線でつなぐ数学的技法。KANではこれを使って柔軟な関数形を表現する

【解釈可能性（Interpretability）】

AIの判断過程を人間が理解できること。KANは学習結果を可視化しやすい

【破滅的忘却（Catastrophic Forgetting）】

新しいことを学ぶと以前学んだことを忘れてしまう、ニューラルネットワークの問題

【高次元の呪い】

入力の種類が増えると必要な計算量が爆発的に増える問題

【ハイブリッドアーキテクチャ】

KANとMLPなど、異なる技術を組み合わせたネットワーク設計