ユヴァル・ノア・ハラリ：「私たちはこの新たな超知能と地球をどう共有するのか？」

イスラエルの歴史家であり哲学者であるユヴァル・ノア・ハラリの著書『サピエンス全史』は、人類が作り出した虚構によって動かされた歴史観を提示し、国際的なベストセラーとなった。後作『ホモ・デウス』では、超知能の出現によってもたらされる人類の未来を描いた。彼の最新著書『ネクサス：石器時代からAIまで、情報ネットワークの簡潔な歴史』は、AIの比類なき脅威に対する警鐘を鳴らしている。

11月の米国大統領選挙以降、ポピュリズムと人工知能（AI）を原動力とするテクノファシズムの台頭が顕著になっている。そのわずか数ヶ月前に出版された『Nexus』は、AIが民主主義と全体主義に及ぼす潜在的な影響をタイムリーに解説している。ハラリは本書の中で、シンギュラリティ（技術、特にAIが人間の制御を超え、不可逆的に独力で進歩する仮説上の未来時点）への警鐘を鳴らすだけでなく、AIの異質性についても警鐘を鳴らしている。

このインタビューは、『WIRED』日本版編集長の松島倫明が、2025年4月に公開予定の『WIRED』日本版YouTubeシリーズ「ザ・ビッグインタビュー」のために収録したものです。インタビューは読みやすさと長さを考慮して編集されています。

WIRED：90年代後半、インターネットが普及し始めた頃、インターネットは世界平和をもたらすという言説がありました。より多くの情報がより多くの人に届くことで、誰もが真実を知り、相互理解が生まれ、人類はより賢くなると考えられていました。デジタル時代における変化と希望の声となってきたWIREDも、当時、そうした考えの一翼を担っていました。あなたの新著『Nexus』では、そのような情報観はあまりにもナイーブすぎると書かれています。この点について、説明していただけますか？

ユヴァル・ノア・ハラリ：情報は真実と同じではありません。ほとんどの情報は現実を正確に反映しているわけではありません。情報の主な役割は、多くの物事、人々を結びつけることです。時には真実によって人々は繋がりますが、多くの場合、フィクションや幻想を使う方が簡単です。

自然界でも同じことが言えます。自然界に存在する情報のほとんどは、真実を伝えることを意図していません。生命の根底にある基本情報はDNAだと言われていますが、DNAは本当に真実なのでしょうか？いいえ。DNAは多くの細胞を繋ぎ合わせて体を作りますが、私たちに真実を教えてくれているわけではありません。同様に、人類史上最も重要な書物の一つである聖書は、何百万人もの人々を結びつけてきましたが、必ずしも真実を伝えているわけではありません。

情報が完全に自由市場にある場合、情報の大部分はフィクション、幻想、あるいは嘘になります。これは、真実には主に3つの困難があるからです。

まず第一に、真実を伝えるには費用がかかります。一方、フィクションの創作は費用がかかりません。歴史、経済、物理学などについて真実を語りたいなら、証拠収集と事実確認に時間、労力、そして費用を費やす必要があります。しかし、フィクションなら、何でも好きなように書けるのです。

第二に、現実自体が複雑であるため、真実はしばしば複雑になります。一方、フィクションは、望むだけシンプルにすることができます。

そして最後に、真実はしばしば苦痛と不快感を伴うものです。一方、フィクションは可能な限り心地よく魅力的なものにすることができます。

したがって、完全に自由な情報市場では、真実は膨大な量の虚構と幻想に圧倒され、埋もれてしまうでしょう。真実に辿り着きたいのであれば、事実を解明するために特別な努力を何度も重ねなければなりません。まさにこれがインターネットの普及で起こったことです。インターネットは完全に自由な情報市場でした。したがって、インターネットが事実と真実を広め、人々の間に理解と合意を広げるという期待は、すぐに甘かったことが証明されました。

ビル・ゲイツは最近のニューヨーカー誌のインタビューで、「デジタル技術は人々に力を与えると常に思ってきましたが、ソーシャルネットワーキングは全く異なるものです。私たちはそのことに気づくのが遅すぎました。AIもまた全く異なるものです」と述べています。AIが前例のないものであるならば、私たちは過去から何を学ぶことができるのでしょうか？

歴史から学ぶことはたくさんあります。まず、歴史を知ることは、AIがどのような新しいものをもたらしたかを理解するのに役立ちます。歴史を知らなければ、現状の斬新さを正しく理解することはできません。そして、AIの最も重要な点は、それが単なるツールではなく、主体であるということです。

AI革命を印刷革命、文字の発明、ラジオやテレビといったマスメディアの出現と同一視する人がいますが、これは誤解です。それ以前の情報技術はすべて、人間の手による単なる道具に過ぎませんでした。印刷機が発明された時でさえ、文章を書き、どの本を印刷するかを決めたのは人間でした。印刷機自体は何も書くことも、どの本を印刷するかを決めることもできません。

しかし、AIは根本的に異なります。AIはエージェントであり、自ら本を書き、どのようなアイデアを広めるかを決めることができます。全く新しいアイデアを自ら生み出すことさえできます。これは歴史上かつて例のないことですが、私たち人類はこれまで超知能エージェントに出会ったことはありません。

もちろん、過去にも役者はいました。動物はその一例です。しかし、人間は動物よりも知能が高く、特に繋がりという点では圧倒的に優れています。実際、ホモ・サピエンスの最大の強みは、個々の能力ではありません。個体レベルでは、私はチンパンジーやゾウ、ライオンよりも強いわけではありません。もし小さな集団、例えば人間10人とチンパンジー10匹が戦ったら、おそらくチンパンジーが勝つでしょう。

では、なぜ人間は地球を支配しているのでしょうか？それは、人間が数千人、数百万人、さらには数十億人という、互いに面識のない人々同士が、大規模かつ効果的に協力できるネットワークを構築できるからです。10匹のチンパンジーは互いに緊密に協力できますが、1,000匹のチンパンジーはそうではありません。一方、人間は1,000人ではなく、100万人、あるいは1億人とも協力することができます。

人間がこれほど大規模に協力できるのは、物語を創造し、共有できるからです。あらゆる大規模協力は、共通の物語に基づいています。宗教が最も分かりやすい例ですが、金融や経済の物語も良い例です。お金はおそらく歴史上最も成功した物語でしょう。お金とは、ただの物語です。紙幣や硬貨自体には客観的な価値はありませんが、私たちはお金に関する同じ物語を信じており、それが私たちを結びつけ、協力を可能にしています。この能力は、人間にチンパンジー、馬、ゾウに対する優位性を与えています。これらの動物は、お金のような物語を創造することはできません。

しかし、AIはそうできる。歴史上初めて、人間よりも優れた物語を創造し、ネットワーク化できる存在と地球を共有することになる。今日、人類が直面する最大の課題は、この新たな超知能と地球をどのように共有していくか、ということだ。

この新しい超知能の時代を私たちはどう考えるべきでしょうか?

AI革命に対する基本的な姿勢は、極端を避けることだと私は考えています。一方の極端には、AIがやって来て私たちすべてを破滅させるという恐怖があり、もう一方の極端には、AIが医療や教育を向上させ、より良い世界を創造するという楽観的な見方があります。

私たちに必要なのは中道です。何よりもまず、この変化の規模を理解する必要があります。今私たちが直面しているAI革命と比べれば、これまでのあらゆる革命は見劣りするでしょう。なぜなら、歴史を通して、人間が何かを発明したとき、それをどのように活用して新しい社会、新しい経済システム、あるいは新しい政治システムを創造するかを決定してきたのは、常に人間だったからです。

例えば、19世紀の産業革命を考えてみましょう。当時、人々は蒸気機関、鉄道、蒸気船を発明しました。この革命は経済の生産力、軍事力、そして地政学的状況を一変させ、世界中に大きな変化をもたらしましたが、最終的に産業社会をどのように構築するかを決定したのは人々でした。

具体的な例として、1850年代、アメリカのマシュー・C・ペリー提督が蒸気船で日本に来航し、日本の貿易条件を強制的に受け入れさせました。その結果、日本は「アメリカと同じように工業化しよう」と決断しました。当時、日本では工業化の是非をめぐって大きな議論がありましたが、それはあくまでも国民間の議論であり、蒸気機関自体が何らかの決定を下したわけではありませんでした。

しかし今回、AIを基盤とした新しい社会を構築するにあたり、人間だけが意思決定を行うのではなく、AI自体が新たなアイデアを生み出し、意思決定を行う力を持つようになるかもしれません。

もしAIが独自のお金を持ち、それをどのように使うかを自ら決定し、さらには株式市場に投資し始めたらどうなるでしょうか？そのようなシナリオでは、金融システムで何が起こっているかを理解するためには、人間が何を考えているのかだけでなく、AIが何を考えているのかを理解する必要があります。さらに、AIは私たちには全く理解できないアイデアを生み出す可能性を秘めています。

シンギュラリティについて、あなたのお考えを詳しくお聞かせください。あなたは「反シンギュラリティ」という表現をよく耳にしますが、新著ではAIは人間よりも創造性が高く、感情知能においても人間よりも優れていると指摘されています。

こうした革命の根源はコンピュータそのものであり、インターネットやAIはその派生に過ぎないというあなたの発言に特に感銘を受けました。WIRED誌はつい最近、量子コンピュータに関する連載記事を掲載したばかりですが、これを例に挙げると、将来、計算能力が飛躍的に向上した場合、超知能によって世界秩序が再編されるシンギュラリティ（特異点）は避けられないとお考えですか？

それは、シンギュラリティをどう定義するかによります。私の理解では、シンギュラリティとは、私たちがもはや世界で何が起こっているのか理解できなくなる時点です。私たちの想像力と理解力では追いつけない時点です。そして、私たちはすでにその時点に非常に近づいているのかもしれません。

量子コンピュータや本格的な汎用人工知能、つまり人間の能力に匹敵するAIがなくても、現在のAIレベルではAI革命を引き起こすには十分かもしれません。AI革命というと、巨大なAIが1つ現れて新たな発明や変化をもたらすというイメージを思い浮かべがちですが、私たちはむしろネットワークという視点で考えるべきです。もし数百万、数千万もの高度なAIがネットワーク化され、経済、軍事、文化、政治に大きな変化をもたらしたとしたら、どうなるでしょうか？ネットワークは、私たちが決して理解できない全く異なる世界を作り出すでしょう。私にとってシンギュラリティとはまさにその瞬間、つまり、私たちの世界、そして私たち自身の人生さえも理解する能力が圧倒される瞬間なのです。

もしシンギュラリティに賛成か反対かと聞かれたら、まず第一に、今何が起こっているのかを明確に理解しようとしているだけだと答えます。人は物事をすぐに良いか悪いか判断したがりますが、まずは状況をより深く見つめ直す必要があります。過去30年間を振り返ると、テクノロジーは非常に良いこともあれば、非常に悪いこともありました。「ただ良いこと」か「ただ悪いこと」か、明確に区別できるものではありません。おそらく将来も同じでしょう。

しかし、未来における一つの明らかな違いは、私たちが世界を理解しなくなると、もはや未来をコントロールできなくなるということです。そうなると、私たちは動物と同じ立場に立たされることになります。世界で何が起こっているのか理解できない馬や象のようになるのです。馬や象は、人間の政治や金融システムが自分たちの運命を左右していることを理解できません。私たち人間にも同じことが起こる可能性があります。

「誰もが『ポスト真実』の時代について語りますが、歴史上『真実』の時代はあったのでしょうか？」とおっしゃっていますが、どういう意味か説明していただけますか？

かつて私たちは世界をもう少し理解していました。なぜなら、世界を管理していたのは人間であり、世界は人間のネットワークだったからです。もちろん、ネットワーク全体がどのように機能しているかを理解するのは常に困難でしたが、少なくとも私自身は人間として、王、皇帝、高僧のことを理解できました。彼らは私と同じ人間でした。王が決定を下すとき、私はある程度それを理解できました。なぜなら、情報ネットワークのメンバーはすべて人間だったからです。しかし今、AIが情報ネットワークの主要なメンバーになりつつあるため、私たちの世界を形作る重要な決定を理解することはますます困難になっています。

おそらく最も重要な例は金融でしょう。歴史を通して、人類はますます洗練された金融の仕組みを発明してきました。お金はその一例であり、株式や債券も同様です。利子もまた金融の発明の一つです。しかし、これらの金融の仕組みを発明する目的は何なのでしょうか？それは、車輪や自動車を発明することとは異なり、また、食べられる新しい種類の米を開発することとも異なります。

つまり、金融を発明した目的は、人々の間に信頼とつながりを生み出すことです。お金はあなたと私の間の協力を可能にします。あなたが米を育て、私があなたに支払います。そして、あなたが米を私に渡し、私はそれを食べることができます。たとえお互いを個人的に知り合っていなくても、私たちはお金を信頼しています。良いお金は人々の間に信頼を築くのです。

金融は、何百万人もの人々をつなぐ信頼と協力のネットワークを構築してきました。そしてこれまで、人間はこの金融ネットワークを理解することは可能でした。これは、すべての金融の仕組みが人間に理解可能である必要があったためです。人間が理解できない金融の仕組みを発明しても意味がありません。なぜなら、そのような仕組みは信頼を築くことができないからです。

しかし、AIは金利、債券、株式よりもはるかに複雑な、全く新しい金融メカニズムを発明するかもしれません。それは数学的に極めて複雑で、人間には理解できないものになるでしょう。しかし、AI自身はそれを理解することができます。その結果、AI同士が信頼し合い、互いにコミュニケーションをとる金融ネットワークが構築され、人間には何が起こっているのか理解できなくなります。この時点で、私たちは金融システムと、それに依存するすべてのものを制御できなくなるでしょう。

AIは、私たちには理解できない信頼のネットワークを構築することができます。こうした理解不能なものは「ハイパーオブジェクト」と呼ばれます。例えば、地球規模の気候変動は、人間がそのメカニズムや全体像を完全に把握することはできませんが、甚大な影響を与えることは分かっており、だからこそ私たちはそれに立ち向かい、適応しなければなりません。AIは、人類が今世紀に取り組まなければならないもう一つのハイパーオブジェクトです。あなたの著書では、大きな課題に対処するために必要な要素の一つとして人間の柔軟性を挙げています。しかし、人類にとってハイパーオブジェクトに対処するとは、実際にはどういう意味を持つのでしょうか？

理想的には、AIがこれらのハイパーオブジェクト、つまり私たちの理解を超えるほど複雑な現実への対処を助けてくれると信頼したいものです。しかし、AI開発における最大の課題は、人間よりも知能が高くなる可能性のあるAIを、どのようにして信頼できるものにするか、ということかもしれません。私たちはその答えを持っていません。

AI革命における最大のパラドックスは「信頼のパラドックス」だと私は考えています。つまり、私たちは今、完全に信頼できない超知能AIの開発を急いでいるということです。多くのリスクがあることは理解しています。合理的に考えると、開発のペースを落とし、安全性への投資を増やし、超知能AIが人間の制御を逃れたり、人間に危害を及ぼすような行動をとったりしないよう、まず安全対策を講じるのが賢明でしょう。

しかし、実際には今日、その逆のことが起こっています。私たちはAI開発競争の真っ只中にあり、様々な企業や国々がより強力なAIの開発に猛スピードで取り組んでいます。一方で、AIの安全性を確保するための投資はほとんど行われていません。

AI革命を牽引する起業家、実業家、そして政府指導者たちに「なぜ急ぐのか？」と尋ねると、ほぼ全員がこう答えます。「確かにリスクがあることは承知しています。危険であることも承知しています。ゆっくり進めて安全性に投資する方が賢明であることも理解しています。しかし、人間の競争相手を信頼することはできません。私たちがAI開発を遅らせ、より安全なものにしようとしている間に、他の企業や国がAI開発を加速させれば、彼らは先に超知能を開発し、世界を席巻するでしょう。ですから、信頼できない競争相手に先んじるためには、できるだけ早く前進するしかありません。」

しかし、その後、私はAIの責任者たちに二つ目の質問をしました。「開発中の超知能を信頼できると思いますか？」彼らの答えは「はい」でした。これはほとんど狂気の沙汰です。他の人間さえ信頼できない人が、なぜかこのエイリアンのAIを信頼できると思っているのです。

私たちは人間と数千年にわたる経験を持っています。人間の心理や政治を理解しています。人間の権力欲を理解するだけでなく、その権力を制限し、人間同士の信頼を築く方法についてもある程度理解しています。実際、過去数千年の間に、人間は相当な信頼を築いてきました。10万年前、人間は数十人規模の小さな集団で生活し、部外者を信頼することはできませんでした。しかし今日では、巨大な国家、世界中に広がる貿易ネットワーク、そして数億人、あるいは数十億人もの人々が、ある程度は互いに信頼し合っています。

AIは行動する存在であり、自ら判断を下し、新しいアイデアを生み出し、新しい目標を設定し、人間には理解できない策略や嘘をつき、人間の理解を超えた異質な目的を追求することもあることを私たちは知っています。AIを疑う理由は数多くあります。しかし、私たちはAIの経験がなく、AIをどう信頼すればいいのか分かりません。

人々が互いに信頼していないのに、AIを信頼できると考えるのは大きな間違いだと思います。超知能を開発する最も安全な方法は、まず人間同士の信頼関係を強化し、それから互いに協力して安全な方法で超知能を開発することです。しかし、私たちが今やっていることは全く逆です。すべての努力が超知能の開発に向けられているのです。

リバタリアン的な考え方を持つWIRED読者の中には、人類が歴史の大半で互いに争ってきたため、人間よりも超知能を信頼する人もいるかもしれません。あなたは、私たちは今や国家や大企業といった巨大な信頼のネットワークを持っていると述べていますが、そのようなネットワークの構築はどれほど成功しているのでしょうか？そして、今後も失敗し続けるのでしょうか？

それは私たちが抱く期待の基準によって異なります。振り返って、今日の人類と、数十人規模の小さな群れで生活していた狩猟採集民だった10万年前を比べてみると、私たちは驚くほど巨大な信頼のネットワークを築き上げてきました。何億人もの人々が日々協力し合うシステムがあるのです。

リバタリアンはしばしばこうした仕組みを当然のことと考え、それがどこから来るのかを考えようとしません。例えば、家には電気と飲料水があります。トイレに行って水を流すと、下水は巨大な下水道に流れ込みます。そのシステムは国によって建設され、維持されています。しかし、リバタリアンの考え方では、トイレを使って水を流すだけで、誰もそれを維持管理する必要がないと当然のことと考えがちです。しかし、もちろん誰かが維持管理する必要があります。

完璧な自由市場など存在しません。競争に加えて、常に何らかの信頼のシステムが不可欠です。自由市場における競争によって、ある種のものはうまく創造されますが、市場競争だけでは維持できないサービスや必需品も存在します。正義はその一例です。

完璧な自由市場を想像してみてください。例えば、私があなたとビジネス契約を結び、その契約を破棄したとします。そこで裁判所に行き、裁判官に判決を求めます。しかし、もし私が裁判官に賄賂を渡していたらどうでしょうか？突如、自由市場を信頼できなくなります。裁判官が、最も多くの賄賂を支払った人の味方をするような事態を、あなたは容認しないでしょう。もし正義が完全に自由市場で取引されるなら、正義そのものが崩壊し、人々はもはや互いを信頼しなくなります。契約や約束を守るという信頼は失われ、それらを執行するシステムは存在しなくなるでしょう。

したがって、いかなる競争にも必ず何らかの信頼構造が必要です。私の著書では、サッカーのワールドカップを例に挙げます。様々な国のチームが競い合いますが、競争が成立するためには、まず共通のルールについて合意しなければなりません。もし日本が独自のルールを持ち、ドイツが別のルールを持っていたら、競争は成立しません。つまり、競争でさえも共通の信頼と合意という基盤が必要なのです。そうでなければ、秩序そのものが崩壊してしまうのです。

Nexusでは、マスメディアが大衆民主主義を可能にした、つまり情報技術と民主主義制度の発展は相関関係にあると指摘されています。もしそうだとすれば、ポピュリズムや全体主義といった負の可能性に加えて、民主主義においてどのような前向きな変化の機会が考えられるでしょうか？

例えばソーシャルメディアでは、フェイクニュース、偽情報、陰謀論などが人々の信頼を失わせるために意図的に拡散されています。しかし、アルゴリズムが必ずしもフェイクニュースや陰謀論を拡散しているわけではありません。多くのアルゴリズムは、単にそうするように設計されているからこそ、こうした拡散を実現しているのです。

Facebook、YouTube、TikTokのアルゴリズムの目的は、ユーザーエンゲージメントを最大化することです。多くの試行錯誤の末に発見された最も簡単な方法は、人々の怒り、憎しみ、そして欲望を煽る情報を拡散することでした。これは、人々が怒っているとき、その情報を追いかけ、他の人に広める傾向が強くなり、結果としてエンゲージメントが高まるためです。

しかし、アルゴリズムに別の目的を与えたらどうなるでしょうか？例えば、人々の間の信頼を高める、あるいは真実性を高めるといった目的を与えれば、アルゴリズムは決してフェイクニュースを拡散することはありません。むしろ、より良い社会、より良い民主主義社会の構築に貢献するでしょう。

もう一つの重要な点は、民主主義は人間同士の対話であるべきだということです。対話をするためには、相手が人間であることを知り、信頼する必要があります。しかし、ソーシャルメディアやインターネットの普及により、読んでいる情報が本当に人間によって書かれ、発信されているのか、それとも単なるボットなのかを見分けることがますます難しくなっています。これは人間同士の信頼を破壊し、民主主義を非常に困難なものにしています。

これに対処するには、ボットやAIが人間のふりをすることを禁止する規制や法律を制定することが考えられます。AI自体を禁止するべきではないと思います。AIやボットが私たちと交流することは歓迎されますが、それは彼らがAIであり人間ではないことを明確に示している場合に限られます。Twitterで情報を見たとき、それが人間によって拡散されているのか、ボットによって拡散されているのかを見極める必要があります。

「表現の自由の侵害ではないか」と言う人もいるかもしれませんが、ボットには表現の自由はありません。私は人間の表現の検閲に断固反対しますが、それはボットの表現を守ることにはなりません。

近い将来、人工知能と議論することで、私たちはより賢くなり、より良い結論に達するようになるのでしょうか？例えば、あなたの新著でも描かれているAlphaGoのように、人間には想像もできないような創造性が、教室での議論の中で見られるようになるのでしょうか？

もちろん、それは起こり得ます。AIは非常に創造的で、私たちが思いもよらないようなアイデアを生み出すこともあります。しかし同時に、AIは大量のジャンク情報や誤解を招く情報を提供することで、私たちを操ることもできます。

重要なのは、私たち人間が社会のステークホルダーであるということです。先ほど下水道の例で述べたように、私たちには身体があります。下水道が破綻すれば、私たちは病気になり、赤痢やコレラなどの病気を蔓延させ、最悪の場合、死に至ります。しかし、AIにとってそれは全く脅威ではありません。AIは下水道が破綻しても気にしません。なぜなら、病気になることも死ぬこともないからです。例えば、人間が下水道の管理のために政府機関に資金を割り当てるべきかどうかを議論する時、そこには明らかに既得権益が存在します。ですから、AIが下水道システムに関して非常に斬新で独創的なアイデアを思いつくことはできますが、AIはそもそも人間ではなく、有機体ですらないことを常に忘れてはなりません。

サイバースペースについて議論する際には特に、私たちには身体があることを忘れがちです。AIが人間と異なるのは、その想像力や思考方法が人間とは異なるだけでなく、その身体自体が人間とは全く異なる点です。究極的には、AIも物理的な存在であり、純粋に精神的な空間ではなく、コンピューターとサーバーのネットワークの中に存在します。

将来を考えるときに、最も考慮すべきことは何でしょうか？

重要な問題は二つあると思います。一つは、これまで多くの議論がなされてきた「信頼」の問題です。今、私たちは人間同士の信頼が危機に瀕しています。これが最大の危機です。人間同士の信頼を強めることができれば、AI革命にもよりうまく対応できるでしょう。

二つ目は、AIによって完全に操作されたり、誤った方向に導かれたりする脅威です。インターネット黎明期には、テクノロジーの主なメタファーはウェブでした。ワールド・ワイド・ウェブは、人々を互いに結びつける蜘蛛の巣のようなネットワークとして構想されていました。

しかし今日、主要なメタファーは繭です。人々はますます、個別の情報繭の中で暮らすようになっています。人々はあまりにも多くの情報に晒され、周囲の現実が見えなくなっています。人々はそれぞれ異なる情報の繭に囚われているのです。歴史上初めて、人間以外の存在、つまりAIが、そのような情報繭を作り出すことができるようになったのです。

人類は歴史を通して、人間の文化という繭の中で生きてきました。詩、伝説、神話、演劇、建築、道具、料理、イデオロギー、貨幣、そして私たちの世界を形作ってきたあらゆる文化的産物は、すべて人間の知性から生まれてきました。しかし将来、これらの文化的産物の多くは、人間以外の知性から生まれるでしょう。私たちの詩、映像、イデオロギー、そして貨幣は、人間以外の知性から生まれるでしょう。私たちは、現実からかけ離れた、そのような異質な世界に閉じ込められているのかもしれません。これは、人類が何千年もの間、心の奥底に抱いてきた恐怖です。そして今、かつてないほど、この恐怖は現実のものとなり、危険なものとなっています。

例えば、仏教には「マーヤー」（幻覚、錯覚）という概念があります。AIの出現により、この錯覚の世界から抜け出すことはこれまで以上に困難になるかもしれません。AIは私たちを新たな錯覚で溢れさせ、それらは人間の知性や想像力に由来するものでさえありません。私たちはそれらの錯覚を理解することさえ非常に困難になるでしょう。

あなたは民主主義を維持する上で重要な機能として「自己修正メカニズム」を挙げています。これは繭から抜け出し、現実と向き合う上でも重要な機能だと思います。一方で、著書では、産業革命以降の人類の成果は「Cマイナス」、つまりギリギリ許容できるレベルだと書かれています。もしそうだとしたら、来たるべきAI革命において、人類に期待できるものは多くないのではないでしょうか。

新しい技術が登場したとき、それ自体が必ずしも悪いというわけではありません。しかし、人々はそれをどのように有益に活用すればよいのかまだ分かっていません。人々がそれを知らないのは、その技術のモデルが存在しないからです。

19世紀に産業革命が起こった当時、「良い産業社会」を築く方法や、蒸気機関、鉄道、電信といった技術を人類の利益のためにどのように活用するかについてのモデルは誰も持っていませんでした。そのため、人々は様々な方法で実験を行いました。近代帝国主義や全体主義国家の創設といったこれらの実験の中には、悲惨な結果をもたらすものもありました。

これはAI自体が悪いとか有害だと言っているのではありません。真の問題は、AI社会を構築するための歴史的なモデルが存在しないことです。そのため、実験を繰り返す必要があります。さらに、AI自体が独自の判断を下し、独自の実験を行うようになります。そして、これらの実験の中には、恐ろしい結果をもたらすものもあるかもしれません。

だからこそ、自己修正メカニズム、つまり致命的な事態が発生する前にエラーを検知・修正できるメカニズムが必要なのです。しかし、これはAI技術を世界に導入する前に実験室でテストできるものではありません。実験室で歴史をシミュレートすることは不可能なのです。

たとえば、鉄道が発明されたとしましょう。

実験室では、蒸気機関が故障すると爆発するかどうかを観察することは可能でした。しかし、鉄道網が数万キロメートルに広がった場合、それが経済状況や政治状況にどのような変化をもたらすかをシミュレートできる人は誰もいませんでした。

AIについても同じことが言えます。実験室でAIの実験を何度繰り返しても、何百万もの超知能が現実世界に解き放たれ、経済、政治、社会の様相を一変させた時に何が起こるかを予測することは不可能です。ほぼ確実に、大きな間違いが起こるでしょう。だからこそ、私たちはより慎重に、よりゆっくりと前進すべきです。適応し、間違いを発見し、修正する時間を設けなければなりません。

この記事はもともと WIRED Japanに掲載されたもので、日本語から翻訳されています。