AGIという神話とTESCREALの系譜──ナイーブな自然回帰志向の裏返し？

Seo Seungchul
7月1日
読了時間: 14分

更新日：2 日前

シリーズ: 論文渉猟

◆今回の論文：Timnit Gebru et al. "The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence"（First Monday, 2024年4月）

最近のAI業界では「AGI（汎用人工知能）」という言葉が頻繁に飛び交います。まるで全知全能の神のような存在を作り出そうとする動きは、一見すると技術的な挑戦のように見えますが、実はその背後には思想的な系譜があるようです。

ティムニット・ゲブル博士とエミール・P・トーレス博士による論文"TESCREALバンドル"は、現代のAGI開発競争の根底にある思想的な潮流を明らかにしています。それは、20世紀の優生学運動から続く、ある種の世界観なのだとか。

今回は、富良野とPhronaが、この刺激的な論文を読みながら、AGIという概念の持つ問題や、技術開発の背後にある思想について語り合います。なぜ今、全知全能のAIを作ろうとする動きがこれほど加速しているのか。そして、それは本当に人類のためになるのか。二人の対話を通じて、技術と思想、そして社会の未来について考えてみましょう。

TESCREALの衝撃

富良野：TESCREALって、トランスヒューマニズム、エクストロピアニズム、シンギュラリタリアニズム、コスミズム、合理主義、効果的利他主義、そして長期主義の頭文字をとったものなんですね。

Phrona：ええ、最初は何かの暗号かと思いました。でも読み進めていくと、これらの思想が実は密接に絡み合っているということがわかってきて。しかも、その系譜が20世紀の優生学にまで遡るという指摘には、正直ぞっとしました。

富良野：僕も同じです。特に印象的だったのは、現在のテック業界の大物たちの多くが、このTESCREALの思想のいくつかに深く関わっているという点です。イーロン・マスクさん、サム・アルトマンさん、ピーター・ティールさんなど、名だたる人物が名前を連ねていますね。

Phrona：単なる偶然じゃないですよね。論文では、これらの億万長者たちが何百億ドルもの資金をこの運動に投じているって書かれていました。それだけの巨額の資金が、特定の思想に基づいたAGI開発に流れているということは、私たちの社会にとって何を意味するんでしょうか。

AGIという「神」を作る試み

富良野：論文の中で特に興味深かったのは、AGIを「神のような存在」として描写している部分です。全知全能で、あらゆる問題を解決できる存在。これって、まさに宗教的な願望じゃないですか？

Phrona：そうなんです。著者たちは、AGIの追求が持つ宗教的な側面を指摘していましたね。楽園を作り出すか、それとも黙示録をもたらすか。この二元論的な語り方自体が、すごく終末論的というか。

富良野：でも、明確に定義されていないシステムを「安全に」作るなんて、そもそも不可能なんです。エンジニアリングの基本原則に反しています。

Phrona：まさにそこなんですよね。論文でも指摘されていたけど、AGIって何をもって「達成」とするのか、その定義すら曖昧なまま。でも、それでも突き進んでいる。なぜでしょう？

富良野：おそらく、技術的な目標というよりも、思想的な目標が先行しているからじゃないでしょうか。つまり、作りたいものが先にあって、それを正当化するために「人類のため」という物語を後付けしている。

優生学との不穏な繋がり

Phrona：論文の中で最も衝撃的だったのは、現代のトランスヒューマニズムが優生学から直接発展してきたという指摘でした。ジュリアン・ハクスリーという人物が、優生学者でありながらトランスヒューマニズムの創始者でもあったと。

富良野：確かに、人間を「改良」するという発想は共通していますね。ただ、方法が遺伝子操作から技術的な拡張に変わっただけで。

Phrona：でも、それって本質的には同じことじゃないですか？「より良い人間」を作るという発想。誰がその「良さ」を決めるのか、という問題は変わっていない。

富良野：その通りです。しかも、AGIの場合は、その「改良」の主体が人間ではなくAIになるかもしれない。論文で言及されていた「再帰的自己改良」というやつですね。AIが自分自身を改良し続けて、最終的には人間を超越する存在になる、という。

Phrona：そこに私は恐ろしさを感じるんです。人間が人間を「改良」するのも問題だけど、人間以外の存在が人間の運命を決めるようになったら...

現実の被害と未来の約束

富良野：論文では、AGI開発競争がすでに引き起こしている具体的な被害についても触れられていましたね。労働搾取、データの盗用、環境への負荷、そして既存の差別の増幅。

Phrona：特に印象的だったのは、気候変動への対応です。AGI推進者たちは、気候変動は「存在論的リスク」ではないから、AGI開発の環境コストは正当化されると考えているらしい。でも、AGIが気候問題を解決してくれるという約束もしている。矛盾していませんか？

富良野：完全に矛盾していますね。現実の問題を無視して、仮説的な未来の解決策に賭けるというのは、責任ある態度とは言えません。

Phrona：しかも、その「解決策」を享受できるのは誰なのか、という問題もあります。論文が指摘していたように、AGIがもたらすとされる恩恵は、結局のところ一部の特権的な人々のためのものかもしれない。

「効果的加速主義」という新たな動き

富良野：論文の最後の方で言及されていた「効果的加速主義」、e/accというやつ、これも興味深いですね。

Phrona：ええ、TESCREALの新しい変種として登場したらしいですが、基本的な考え方は同じみたいです。技術の加速的な発展を通じて、人類を次の段階に導くという。

富良野：でも、その「次の段階」が何なのか、誰のための段階なのか、そこが問題なんですよね。

Phrona：結局、これらの思想に共通しているのは、現在の人間や社会の問題を、未来の技術で解決しようとする姿勢なんじゃないでしょうか。でも、技術だけでは解決できない問題もたくさんある。

ニーチェの超人思想との不穏な共鳴

富良野：TESCREALの話を聞いていて思ったんですが、これってニーチェの超人思想と妙に共鳴する部分がありませんか？

Phrona：「人間は乗り越えられるべき何かである」というニーチェの言葉は、トランスヒューマニズムの「人間を超越する」という発想と重なりますね。でも、決定的に違うのは、ニーチェは個人の内的な価値創造を語っていたのに対し、TESCREALは技術による外的な改造を目指している点です。

富良野：そうですね。ニーチェの超人は、既存の価値を否定して自ら新しい価値を創造する存在。でもTESCREALの「ポストヒューマン」は、IQとか計算能力とか、既存の価値観の延長線上にある。

Phrona：むしろTESCREALは、ニーチェが批判した「末人」に近いかもしれません。快適さと安全を求めて、リスクを回避しようとする...

富良野：面白い逆説ですね！AGIで全ての問題を解決しようとする態度は、まさに「末人」的な安楽への願望かも。

Phrona：ニーチェなら「お前たちは人間を超えるのではなく、人間であることから逃げているだけだ」って言いそうです。

富良野：それに、ニーチェは「神は死んだ」と言ったけど、TESCREALはAGIという新しい神を作ろうとしている。これもニーチェの批判した奴隷道徳の一種かもしれません。

Phrona：確かに...自分で価値を創造する代わりに、AGIという「より高い存在」に判断を委ねようとしている。これって究極の責任回避じゃないでしょうか。

ナイーブな自然回帰志向の裏返し？

富良野：ちょっと別の角度から考えてみたいんですが、TESCREALの技術至上主義って、ある意味でナイーブな自然回帰志向の裏返しとも言えませんか？

Phrona：面白い視点ですね。どういう意味で？

富良野：つまり、自然回帰志向が「自然＝善、技術＝悪」という単純な二項対立に陥りがちなように、TESCREALは「技術＝善、現在の人間＝不完全」という逆の極端に走っているような。

Phrona：なるほど...両方とも現在の人間の条件を否定しているという点では共通していますね。片方は「原始に戻れ」と言い、もう片方は「技術で超越しろ」と言う。

富良野：そうなんです。どちらも現実の複雑さから逃避している。自然回帰主義者が理想化された「自然状態」を夢見るように、TESCREAListsは理想化された「技術的超越」を夢見ている。

Phrona：でも、現実の人間は常に技術と共に生きてきたし、完全に「自然」でも「人工」でもない存在ですよね。その曖昧さや複雑さを受け入れることができない...

富良野：その通りです。興味深いのは、TESCREALの中にも「宇宙意識」とか「意識の光を星々に広げる」みたいな、ある種のスピリチュアルな言葉遣いが見られることです。

Phrona：確かに！技術的特異点への信仰って、ある意味で宗教的な救済への憧れと似ていますよね。現世の苦しみから解放されて、より高次の存在になるという。

富良野：結局、両極端な立場は、人間の有限性や不完全さと向き合うことを避けているのかもしれません。でも、その有限性こそが人間の条件なんじゃないでしょうか。

TESCREALの「緯糸」を解きほぐす

Phrona：ところで、富良野さん、TESCREALという7つの思想を束ねる共通の糸、つまり「緯糸」って何だと思います？

富良野：興味深い質問ですね。僕が考えるに、技術決定論と存在論的危機の利用、それに宗教的世界観が絡み合っているような気がします。

Phrona：なるほど。私は、エリート主導の構造と、科学的客観性を装いながら実は極めて思弁的だという点も重要だと思うんです。

富良野：でも、エリート主導って、従来の社会思想にも当てはまりませんか？プラトンの哲人王も、啓蒙主義の理性的エリートによる統治も、マルクス主義の前衛党論も、結局はエリートが大衆を導くという構造でした。

Phrona：確かにそうですね。

富良野：TESCREALの特殊性は、その正当化の論理にあるのかもしれません。従来の思想は階級闘争とか理性とか、少なくとも自分たちの価値観を率直に表明していた。でもTESCREALは「これは科学だ、合理的判断だ」と言いながら、実質的には特定の価値観を押し付けている。

Phrona：科学の仮面をかぶったイデオロギー...それに加えて、ネオリベラル資本主義の盲目的な受容も影響している気がします。

人新世の「風土病」としてのTESCREAL

富良野：面白い指摘です。実際、TESCREALって人新世に世界中の富と先進科学技術が偏在している土地柄ならではの、endemic的な現象かもしれませんね。

Phrona：まさに風土病！シリコンバレーという極めて特殊な環境でしか生まれ得ない思想。地球規模の環境危機を目の当たりにしながら、史上最大の富の集中を経験し、AI、バイオテクノロジー、宇宙技術が同時に発達している...

富良野：しかもそれが狭い地域に集積している。この条件が揃った時に初めて、「地球がダメなら宇宙に行けばいい」「人間がダメならAGIで置き換えればいい」といった発想が説得力を持つんですね。

Phrona：イーロン・マスクが「生命を多惑星化し、意識の光を星々に広げるため」って言って極端な富を正当化しているのも、まさにこの症状ですよね。人新世の危機感とテックの万能感、極端な富の偏在が組み合わさった、ある意味「贅沢な妄想」。

接地性の欠如という問題

富良野：でも、これまでの哲学や思想と比べても、TESCREALって接地性が希薄すぎませんか？

Phrona：本当にそう思います！従来の思想って、マルクス主義なら工場労働者の搾取、自由主義なら王権からの抑圧、宗教なら死や病気という、人々が日常的に体験する具体的な問題から出発していました。

富良野：それに対してTESCREALは、仮想的なAGIによる人類絶滅リスクとか、まだ存在しない技術による不老不死とか、全てが極めて思弁的です。

Phrona：でも、その接地性の欠如が、かえって「科学的客観性」の装いを可能にしているのかも。現実の政治的・社会的利害から一見距離を置いて、「純粋に合理的な計算」を装える。

富良野：なるほど...思弁の高度さが現実逃避を可能にし、現実逃避が現状維持を正当化する。「宇宙の話をしているから政治的ではない」という顔をしながら、実は極めて政治的な効果を発揮している。

現実の搾取構造への批判は十分か

Phrona：そういえば、TESCREALの極めて現実的で政治的な機能の方を、ちゃんと正面から批判する必要がありますよね。もうされているんでしょうか？

富良野：確かに批判はありますね。デイブ・トロイさんは「非自由主義的議題と権威主義的傾向を押し進める」と指摘していますし、ギル・ドゥランさんは「白人至上主義、男性至上主義、技術至上主義、富の至上主義が一体化した危険な神学」と批判しています。

Phrona：でも、まだ主流にはなっていないような...

富良野：そうなんです。特に問題なのは、シリコンバレーの格差が全米の2倍のスピードで拡大していて、たった9世帯が下位50%全体より多くの富を所有しているという現実。住宅価格が1.92億円で、住民の30%が基本的ニーズを満たせない。

Phrona：つまり、「宇宙の話」をしている間に、極めて具体的で政治的な搾取が進行している...

労働搾取とAGIのユートピア

富良野：論文で特に衝撃的だったのは、ケニアの労働者の話です。OpenAIがChatGPTのフィルタリングのために、時給1.32ドルでケニアの労働者を雇って、性的虐待やヘイトスピーチなどの有害コンテンツにラベル付けをさせていたという。

Phrona：それで精神的に傷ついたって報告されていましたね。AGIがもたらすとされる「人々が大切な人とより多くの時間を過ごせる」ユートピアとは正反対の現実...

富良野：シリコンバレーの企業が何十億ドルもの投資を受けて、幹部やAI研究者は6桁から7桁の給料をもらっている一方で、システムの害を軽減する必要不可欠な仕事をしている世界中の低賃金労働者は、自分の精神的健康を犠牲にしているんです。

Phrona：それなのに、これらのシステムは「思考している」とか「意識がある」みたいに擬人化されて、まるで勝手に存在しているかのように語られる。これって、企業の責任を曖昧にする効果があるんじゃないでしょうか。

IQへの執着と新たな差別

富良野：論文では、TESCREALコミュニティのIQへの執着についても詳しく書かれていましたね。効果的利他主義センターでは、PELTIVという指標でコミュニティメンバーの価値を測定していたらしい。

Phrona：IQ120以上でないとポイントが引かれるって...これってまさに20世紀の優生学者がIQテストで「欠陥者」を特定していたのと同じ発想じゃないですか。

富良野：しかも、貧困削減や気候変動対策に取り組む人は低い価値を割り当てられ、EA組織やAIに直接取り組む人が最高の価値を持つとされていた。

Phrona：つまり、「知的エリート」が社会を導くべきという古い優生学的な考えが、新しい形で復活しているんですね。AGIを作ろうとしている人たちが、すでに人間を選別し始めている...

別の道はあるのか

富良野：論文の結論部分で、著者たちは明確に定義され、スコープが限定されたシステムの開発を推奨していましたね。これは僕も賛成です。

Phrona：私も同感です。全知全能の神を作ろうとするのではなく、具体的な問題を解決するための具体的なツールを作る。それが本来の技術開発のあり方だと思います。

富良野：ただ、問題は、そういう地道なアプローチよりも、AGIという壮大な物語の方が資金を集めやすいということなんです。

Phrona：そうですね...でも、だからこそ、こういう批判的な視点が必要なんじゃないでしょうか。技術開発の背後にある思想や価値観を問い直すこと。それが、より良い未来を作るための第一歩かもしれません。

富良野：確かに。技術は中立的ではない。誰が、何のために作るのか、それが重要なんですね。

Phrona：この論文を読んで、改めてそのことを実感しました。AGIという夢の背後に、これほど複雑で、時に危険な思想が潜んでいるとは...

ポイント整理

TESCREALは、トランスヒューマニズム、エクストロピアニズム、シンギュラリタリアニズム、コスミズム、合理主義、効果的利他主義、長期主義を包括する思想群
これらの思想は20世紀の優生学運動から発展してきた系譜を持つ
現在のテック業界の大物たちの多くがTESCREAL思想に関与し、数百億ドル規模の資金を投入
AGI開発は明確な定義もないまま「人類のため」という名目で推進されている
AGI開発競争はすでに労働搾取、環境破壊、差別の増幅など具体的な被害を生んでいる
ケニアの労働者が時給1.32ドルで有害コンテンツのラベル付けを強いられ、精神的被害を受けている
気候変動のような現実の問題よりも、仮説的なAGIリスクを優先する傾向がある
IQへの執着や人間の価値を測定するPELTIVのような指標は、20世紀の優生学と同じ発想
著者らは、AGIではなく、明確に定義されスコープが限定されたシステムの開発を推奨

キーワード解説

【Transhumanism（トランスヒューマニズム）】

技術を使って人間の限界を超越し、不老不死や超知能を実現しようとする思想。20世紀の優生学者ジュリアン・ハクスリーが発展させた

【Extropianism（エクストロピアニズム）】

1980年代後期に生まれたリバタリアン的なトランスヒューマニズムの変種。合理性、自己変革、技術進歩、経済成長を重視

【Singularitarianism（シンギュラリタリアニズム）】

技術的特異点（シンギュラリティ）の到来を信じる思想。2045年頃にAIが人間を超え、歴史が根本的に変わると予測

【Cosmism（コスミズム）】

人間と機械の融合、意識のアップロード、宇宙植民地化、現在の理解を超えた「未来の魔法」的な科学技術を展望する思想

【Rationalism（合理主義）】

LessWrongというウェブサイトを中心に形成されたコミュニティ。人間の推論と意思決定の改善を目指し、AIを人類の未来にとって重要と考える

【Effective Altruism（効果的利他主義）】

限られた資源で最大の「善」を実現しようとする運動。当初は貧困対策が中心だったが、現在は遠い未来の人類に焦点を移している

【Longtermism（長期主義）】

数百万年、数十億年先の未来を重視する倫理観。現在の人々より、未来に存在する可能性のある膨大な数の人々（デジタル人格を含む）を優先する

【効果的加速主義（e/acc）】

技術の加速的発展を推進する新しい思想運動

【PELTIV】

効果的利他主義センターが使用した、人間の「潜在的期待長期的道具的価値」を測る指標

【AGI（汎用人工知能）】

あらゆるタスクを人間以上にこなせるとされる仮説的なAIシステム

【再帰的自己改良】

AIが自分自身を改良し続けることで急速に能力を向上させるという概念

【存在論的リスク】

人類の存続を脅かすレベルのリスク

【優生学】

人間の遺伝的形質を「改良」しようとする思想・運動