世界の終わりのAIパーティーの内側

ゴールデンゲートブリッジを見下ろす崖の上に建つ3,000万ドルの邸宅に、AI 研究者、哲学者、技術者のグループが集まり、人類の終焉について議論しました。

「価値ある後継者」と題された日曜午後のシンポジウムは、起業家ダニエル・ファジェラ氏の挑発的なアイデアを中心に展開された。先進AIの「道徳的目標」は、非常に強力かつ賢明な知能を生み出し、「（人類ではなく）AIが自らの人生の未来の道筋を決定することを喜んで望む」ほどであるべきだという。

ファジェラ氏は招待状の中でテーマを明確に示していた。「このイベントは、ポストヒューマンへの移行に重点を置いたものです」と彼はXダイレクトメッセージで私に書いてきた。「人類の道具として永遠に機能するAGI（汎用人工知能）ではありません」

未来的な空想に満ちたパーティーで、参加者たちが人類の終焉を比喩的な問題ではなく、物流の問題として議論するというのは、ニッチと言えるかもしれない。サンフランシスコに住み、AI関連の仕事をしている人にとって、これは典型的な日曜日と言えるだろう。

約100人のゲストが、太平洋に面した床から天井まで届く窓辺でノンアルコールカクテルを飲み、チーズプレートをつまんだ後、知能の未来に関する3つの講演に耳を傾けた。ある参加者は「カーツワイルは正しかった」と書かれたシャツを着ていた。これは、機械が数年後には人間の知能を超えると予測した未来学者レイ・カーツワイルを指しているようだ。別の参加者は「これは安全なAGIの実現に役立つのか？」と書かれたシャツを着ており、考え込む顔の絵文字が添えられていた。

ファジェラ氏はWIREDの取材に対し、このイベントを開催した理由について「AGIが人類を滅ぼす可能性が高いことを知っている大手研究所の人々は、インセンティブがそれを許さないため、そのことについて語らない」と述べ、イーロン・マスク、サム・アルトマン、デミス・ハサビスといったテックリーダーたちの初期の発言に言及した。彼らは皆、「AGIが人類を滅ぼす可能性について、かなり率直に語っていた」という。競争へのインセンティブが高まった今、「彼らは皆、AGIの構築に全力で取り組んでいる」と彼は言う（公平を期すために言えば、マスク氏は依然として高度なAIに伴うリスクについて語っているが、それが彼の前進を阻むことにはなっていない）。

ファジェラ氏はLinkedInで、AIの創始者、欧米のトップAI研究所の研究者、そして「AGIに関する重要な哲学者のほとんど」を含むスター揃いのゲストリストを誇っていた。

最初の講演者であるニューヨーク在住の作家、ジネベラ・デイビス氏は、人間の価値観をAIに翻訳することは不可能かもしれないと警告した。機械は意識を持つことがどういうことかを理解できないかもしれない、そして人間の好みを将来のシステムにハードコードしようとするのは近視眼的かもしれないと彼女は述べた。代わりに彼女は、「宇宙的整合」という高尚な響きを持つアイデアを提案した。これは、私たちがまだ発見していないより深く普遍的な価値観を探求できるAIを構築するというものだ。彼女のスライドには、AIが生成したかのようなテクノユートピアのイメージが頻繁に表示され、草地の丘に人々が集まり、遠くの未来都市を見下ろしていた。

機械意識の批判者は、大規模言語モデルは単なる確率的オウムに過ぎないと言うだろう。これは、Googleで働いていた研究者を含む一団が作った比喩で、彼らは有名な論文の中で、LLMは実際には言語を理解しておらず、単なる確率的機械に過ぎないと述べている。しかし、この議論はシンポジウムでは議論されなかった。シンポジウムの講演者たちは、超知能が急速に到来するという考えを当然のこととして受け止めていたのだ。

2つ目の講演が始まる頃には、会場は完全に盛り上がっていた。参加者は木の床に足を組んで座り、メモを取り合っていた。哲学者のマイケル・エドワード・ジョンソン氏がマイクを手に取り、私たちは皆、急激な技術革新が差し迫っていることを直感的に感じているものの、その変化、特に人間の価値観に関わる変化に対処するための原則的な枠組みが欠如していると主張した。意識が「価値の源泉」であるならば、意識を完全に理解することなくAIを構築することは危険な賭けだと彼は述べた。私たちは、苦しみを経験できるものを奴隷にするか、苦しみを経験できないものを信頼するかのどちらかのリスクを負うことになる。（この考えは機械の意識と似たような前提に基づいており、これもまた激しい議論の的となっている。）彼は、AIに人間の命令に永遠に従わせるのではなく、より野心的な目標を提案した。それは、人間と機械の両方に「善」を追求することを教えることだ。（「善」の正確な定義は示さなかったが、彼はそれが神秘的なものではなく、科学的に定義されることを望んでいると主張した。）

画像には、アンジェロ・ブランドゥアルディのランプ、群衆、人、大人、人々、観客、衣服、履物、靴、スピーチが含まれている可能性があります。

画像にはランプ、書籍、出版物、屋内、インテリアデザイン、大人、人物、家具、テーブル、電気機器が含まれている場合があります

最後にファジェラ氏が壇上に上がった。人類は現在の形で永遠に存続することはないと彼は考えており、後継者を設計する責任がある。それは単に生き残るだけでなく、新たな意味と価値を創造できる存在だ。彼は、後継者が備えるべき二つの特性、すなわち意識と「オートポイエーシス」、つまり進化し新たな経験を生み出す能力だと指摘した。バルーク・スピノザやフリードリヒ・ニーチェといった哲学者の言葉を引用しながら、宇宙における価値の大部分はまだ発見されていないと主張し、私たちの役割は古いものに固執することではなく、次に何が来るのかを発見できる何かを構築することだと主張した。

これは彼が「価値論的宇宙主義」と呼ぶ世界観の核心だと彼は述べた。これは、知能の目的は単に人間のニーズを満たすことではなく、可能性と価値の空間を拡大することにあるという世界観である。彼は、今日のAGI開発競争は無謀であり、人類は自分たちが構築しているものに対してまだ準備ができていないかもしれないと警告した。しかし、もし私たちが正しく進めば、AIは地球を継承するだけでなく、宇宙の意味そのものの潜在能力を継承するかもしれないと彼は述べた。

パネルディスカッションと質疑応答の合間の休憩時間には、多くのゲストが米中AI競争といった話題について議論を交わしました。あるAIスタートアップのCEOと話をした際、彼は「もちろん銀河系には他の形態の知性体が存在する。私たちがここで構築しているものは、天の川銀河の彼方に既に存在しているであろうものに比べれば取るに足らないものだ」と主張しました。

イベントの終わりには、一部のゲストが邸宅から出てUberやWaymoに乗り換えたが、多くのゲストはそのまま会場に残って話を続けた。「これは人類滅亡を訴える団体ではありません」とファジェラ氏は語った。「AIの進歩を遅らせることを訴える団体です。どちらかといえば、私たちが正しい方向に向かっていることを確認するためです」