AIと原子爆弾に関する最終見解

私のビッグアイデアは、ロングアイランド湾の湿った8月の日に思いつきました。そのとき、私は、活気のないオデイ・マリナー号に捕らわれ、私がどんなに喜ばせたかった家の客人と汗だくで膝をつき合わせ、帆は役に立たずにぐしゃぐしゃに揺れ、ビールとポテトチップスは尽き、もちろん故障した小さな船外機に翻弄されていました。

長く気まずい曳航の間、物理学者である私のゲストは、モーター内の「せん断ピン」が、老朽化し​​て過熱したパットが焼け死ぬのを防ぐために設計された通り、故障したのではないかと推測しました。これは、実際に損傷する前に回路を遮断する、意図的に弱い接続部です。なんて素晴らしい！と思いました。もし私の脳内にそのようなブレーカーがあれば、明らかにエアコンの効いた映画館に行くべき日に「セーリングに行こう！」と提案するのを止められたのに。

口を滑らせたり、誰かを撃ったりする前に、頭の中の自動ブレーキが私たちを止めてくれたら、最高だと思いませんか？

このような意図的な失敗は、エンジニアによって、あるいは進化によって、ほぼあらゆるものに日常的に組み入れられています。歩道には、木々に根こそぎにされても広場が維持されるよう、きれいに割れるひび割れがあります。バンパーは潰れるので、人は潰れません。卵の殻は簡単に割れて、ひよこがつついて脱出できるようにします。卵が腐るか、ひよこが腐るかのどちらかです。

たまたま私の家の客がマンハッタン計画に携わっていたので、私たちはすぐにこう思いました。もし同じような安全スイッチが、広島への原爆投下を阻止していたらどうなっていただろう、と。広島への原爆投下は「人々を物質に変えた」のだ、と後にラビ博士は言いました。彼自身も、この計画の創設に立ち会った多くのノーベル賞受賞者の一人です。彼もまた、自分たちが作った兵器の恐るべき破壊力と、それが使われた目的に対する恐怖と後悔に、生涯悩まされた多くの人々の一人でした。

最近、著名な AI 開発者たちは、自らの優れた技術の潜在的な破壊力に恐怖を表明している。その技術は、ある意味では人間を物質、というよりはむしろデータという形の製品に変えてしまう。そして、水や電力などの資源を驚異的な速度で消費し、大量の炭素を吐き出す怪物のような機械農場によって吸い込まれては吐き出される。炭素も物質ではあるが、人間にとって有用な形ではない。

彼らの中にはブレーキを求める声もある。少なくとも、「最終的には人間を凌駕し、出し抜き、時代遅れとなり、人間に取って代わるかもしれない非人間の知性」を創造するという狂気じみた競争を遅らせるための減速バンプが必要だ。この言葉は、数千人の技術者がまさにそのような一時停止を求める記録を残した、今や悪名高い「公開書簡」に由来する。中には人類絶滅を危惧する声もある。

実際、爆弾と私たちの新しいAI脳の間には、不思議な類似点がいくつかある。広島に原爆が投下される前、物理学者ロバート・ウィルソンは爆弾科学者たちを集めて会議を開き、「あの装置」をどうすべきかを議論した。おそらく彼らは、その装置を人間に投下する前に、いくつかの選択肢を検討し、デモなどを計画すべきだろう。人間をダミー人形として使うのだ（AI駆動車も人間をダミー人形として使っているという説もある）。爆弾の「父」、ロバート・オッペンハイマーは出席を辞退した。彼は既に爆弾の勢い、そしてその技術の「甘美さ」に巻き込まれており、それに誰かが必ずやそれを実行するだろうと思われていたのだ。

今日、生成型AIについても同じような議論が聞かれる。この技術は紛れもなく魅力的で、避けられないものとして提示されている。「私がやらなくても、誰かがやっていただろう、というありきたりの言い訳で自分を慰めている」と、AIの「父」であり、今や警鐘を鳴らす一人であるジェフリー・ヒントンは言う。

それでもなお、日本に爆弾が投下された後でさえ、一部の科学者（オッペンハイマーを含む）は、事態を封じ込め、確実に我々の目の前で爆発するであろう爆弾の世界的な争奪戦を阻止できるチャンスがあると考えていた。スターリンに、我々はとてつもなく強力な兵器を持っていると告げ、すべてを透明化し、まだ誰も独占していないと宣言することができたのだ。もちろん、それは実現しなかった。我々ははるかに巨大な爆弾を開発し、スターリンも同様にそれを開発し、太平洋のコミュニティ全体が消滅し、今や数万発の核弾頭がいつでも攻撃できる態勢を整えている。

AIが生活にすっかり溶け込み、ほとんど意識しなくなった後でも、相当数の一流研究者は、まだ少し立ち止まって状況を把握する機会があると考えている。「間もなく、マンモスを気にしていたほど人間を気にかけない、より知的な『心』を持つ人間と地球を共有しなければならない日が来るかもしれない」と、物理学者で機械学習の専門家であり、「一時停止」の手紙の著者の一人であるマックス・テグマーク氏は警告する。彼によると、AI研究者の半数は「AIが人類絶滅を引き起こす可能性を少なくとも10%は持っている」という。

10%の確率なら、あのせん断ピンの代替品、つまりキルスイッチを開発するのに十分な理由になりそうだ。もっと良いのは、キルスイッチではないスイッチだ。

私は小学校の机の下に隠れて、ロシアが「我々を葬り去る」と誓った核爆弾から幼い自分を守った（笑）ほどの年齢だ。だが、ヒトラーのナチスによる世界征服への、それほど根拠のない恐怖を知るほどの年齢ではない。だから、爆弾製造者たちを疑うことはない。彼らは、制御不能になる前から既に、自らを疑っていたのだ。

同様に、私はテクノロジーについて十分な知識がないため、どの程度恐れるべきか明確に理解できていません。この雑誌の編集長は、爆弾とは異なり、生成AIは「人類を一撃で滅ぼすことはできない」と主張していました。しかし、真剣な人は異論を唱えます。

しかし、机の下から、そして数十年後に爆弾の専門家から物理学を学んだ私の視点からすると、私が主に聞いているのはエコーです。まったく同じ言葉やフレーズ、同じ会話、黙示録へのこれらの平行した道における奇妙に似た正当化です。

誰が舵を取っているかという問題を取り上げてみよう。オッペンハイマーと彼の同類の多くは、そのような事柄について意見を述べる資格があるのは「賢い人々」と名付けられた人々だけであると信じていた。それは定義上（またはデフォルトにより）、物理学が得意な人々を意味していた。

今日では、テクノロジー業界の人々がその典型だ。彼らは、ある分野で優秀なので、それが賢さを測る唯一の基準だと信じている、とウォール・ストリート・ジャーナル紙のペギー・ヌーナンは指摘する。さらに、より高性能な機械脳を開発するための競争を支持しなければ、ラッダイト、あるいは裏切り者と烙印を押される。まさにそれが、水爆開発を支持しなかったロバート・オッペンハイマーのような人々に降りかかった出来事だ。

公開書簡には、「このような決定は選挙で選ばれていない技術リーダーに委任されてはならない」と書かれている。

元Google CEOのエリック・シュミット氏と、彼の新たな協力者である元国務長官ヘンリー・キッシンジャー氏は、この問題を検討するため、小規模なエリート集団を編成することが最善策だと考えている。では、エリートとは一体誰を指すのだろうか？詩人や画家、中小企業の経営者、マーガレット・アトウッドなどはいないだろう。どれほど「多様化」していても、彼らは相違点よりも共通点の方が多いだろう。こうした「エリート」集団には、世界を真剣に再考し、何かを成し遂げ、物事を直し、優れた質問をすることができる人々、例えば、修理屋、農家、幼稚園の先生などはほとんど含まれていない。

一般的に楽観的なウォーレン・バフェット氏は、先日バークシャー・ハサウェイの年次株主総会で、AIを原子爆弾に例えました。最近多くの人がそうであるように、バフェット氏もアインシュタインの「核爆弾はすべてを変えたが、人間の考え方だけは変えてしまった」という言葉を引用し、「AIは世界のすべてを変えることができる。ただし、人間の考え方や行動は変えられない」と述べました。  

人間の脳と、その脳が生み出すテクノロジーの間にあるこの大きな不一致を専門用語で「ミスアライメント」と呼びます。人間の目的と、私たちが作るものの目的は一致していません。AI誘導爆弾に目的がないと考えるなら、考え直した方がいいでしょう。なぜなら、その目的は粉砕であり、その目的は非常に優れているからです。AI操縦の飛行機やドローンは、人間を傷つけるつもりはありません。ただ、人間と同じように、自分たちにできることを精一杯やっているだけです。「クロサイが絶滅したのは、私たちがサイを嫌っていたからではなく、私たちが彼らよりも賢く、彼らの生息地や角をどのように活用するかについて異なる目的を持っていたからです」とテグマークは主張します。

物理学者の友人は、爆弾について人々が知っておくべき最も重要なことは、おそらく誰もが理解できないことだろうと考えていた。それは、爆弾は単なる同じものの繰り返しではなく、1000倍の大きさだったということだ。「大きいということは違うということだ」と物理学者のフィル・アンダーソンは私たちに言い聞かせた。この宇宙で十分に大きくなるものはすべて――読者のあなたでさえ――自らの重力で崩壊し、ブラックホールを形成する可能性があるのだ。

このような創発特性、つまり多くの要素を組み合わせることで生じる予測不可能な（あるいは少なくとも計り知れない）産物は、脳（ニューロン1つでは思考できない）、都市、樹木や花、天気、時間といった素晴らしいものを生み出します。ChatGPTは、以前のものより大きく高速なバージョンであるだけでなく、私たちが理解できない新しいものをすでに生み出しています。例えば、紛争においてAIがどのように行動するかを予測することは不可能です。キッシンジャーはAIの兵器化を非常に恐れています。「両陣営のAI戦闘機が相互作用すると…それは潜在的に完全な破壊の世界になります。」

テクノロジーはよりスマートに、より速く、より洗練され、遍在し、より万能になる。しかし、人間は依然として脆弱な生物であり、脳に支配されている。脳は、かつて棍棒や石で互いに戦っていた時代からほとんど進化していない。進化によって、私たちはヘビやクモ、唸り声を上げる巨大な獣を恐れるようにできている。銃や核爆弾、気候変動、AIを恐れる必要はない。「人間はこんなことをするために生まれてきたとは思えない」とシュミットは述べた。

誰か少し風を緩める分別を持ってほしい。「becalmed（静まる）」は何も悪いことじゃない。落ち着くという意味だ。時には進路​​がずれて、調整が必要になることもある。

ある意味、この不一致がどうして起こったのか理解するのは難しい。私たちは全て自分たちで、自分たちのために作り出したのだ。

確かに、私たちは本質的に「炭素排外主義者」だとテグマークは言います。「私たちは、私たちのような生身の機械だけが考え、計算し、創造できると信じたがります。しかし、機械は私たちのようにはできないという考えは、AIの重要な洞察を無視しています。『知性とは情報処理のすべてであり、その情報が脳内の炭素原子によって処理されるか、コンピューター内のシリコン原子によって処理されるかは問題ではないのです。』

もちろん、「ナンセンスだ！ すべて順調だ！ むしろ良いじゃないか！ 機械を導入しろ！ 機械と融合するのが早ければ早いほど良い。私たちはすでに人工的に作られた目と心、そして機器との親密な繋がりで、それらと融合し始めているのだ」と言う人もいるだろう。レイ・カーツワイルは、あらゆる区別が事実上無に帰す、来たるべきシンギュラリティ（技術的特異点）が待ちきれないとよく知られている。「私たちが乗り越えなければならないのは、まさにこれからの数十年なのです」と、カーツワイルは最近、大勢の聴衆を前に語った。

ああ、まさにそれです。

AIは人間が作ったものだからAIが支配するという考えは馬鹿げていると語るジャロン・ラニアー氏ですら、もし私たちがその使い方を間違えて文字通り発狂すれば人類が絶滅する可能性もあると認めている。「私にとって危険なのは、私たちがテクノロジーを使って互いに理解不能になったり、あるいは狂気に陥ったりすることです。つまり、生き残るための十分な理解と利己心を持って行動していない状態で、本質的には狂気によって死んでいくのです。」

もしかしたら、私たちは自分自身のことを忘れてしまったのかもしれません。「人間性を失う」という言葉は、爆弾を開発した人たちが頻繁に口にした言葉であり、今日でもほぼ同じくらい頻繁に使われています。物理学者の友人は、制御不能なテクノロジーの危険性は「人間を『人間』たらしめている、言葉では言い表せない、並外れた特別さの一部を失うかもしれないという不安」だと書いていました。それから70年ほど経ち、ラニアーも同意見です。「意識は実在するもので、人間には他のものとは異なる神秘的な内面性があると言わなければなりません。なぜなら、人間は特別だと言わなければ、どうして人々に役立つ社会やテクノロジーを作ることができるでしょうか？」

我々が絶滅しても問題はないのでしょうか？

人間は古来より、共感力、優しさ、他者の感情を認識し、それに応える能力において際立ってきました。私たちは創造性と革新性、独創性、適応力、理性、そして自己意識を誇りとしています。科学、芸術、音楽を創造し、踊り、笑います。

しかし、ジェーン・グドールがチンパンジーが利他的な行動を取り、道具を作り、死者を悼むことができることを明らかにして以来、魚、鳥、キリンなど、あらゆる生き物が理性を持ち、計画を立て、公平感を持ち、誘惑に抵抗し、夢を見ることさえできることを証明してきた。（人間だけが、その巨大で不均衡な脳によって、真に大量破壊を行うことができるようだ。）

私たちは動物を擬人化することで、動物がこんなことができると錯覚してしまうことがあるのか​​もしれません。機械を友達、ペット、親友だと錯覚してしまうのは間違いありません。MITのシェリー・タークルはAIを「人工的な親密さ」と呼んでいます。AIは、偽りの、それでいて説得力のある思いやりのある関係、つまり偽りの共感さえも提供するのが得意だからです。タイミングは最悪です。地球は私たちの注意を早急に必要としています。私たちは自然とつながるためにできる限りのことをすべきであり、「人類が滅亡しても気にしない物とのつながり」を強めるべきではありません。

認めます、ルンバには愛着があります。ゴミ箱とも話します。猫にも愛着があります。もしかしたら、彼女のことは心配した方がいいのかもしれません。機械の頭脳には、膝の上でゴロゴロと喉を鳴らす毛皮の塊は必要ありません。先日、閘門で見たオオアオサギを思い出します。滑らかで堂々とした姿で、まるで木の枝を丸ごとくくわえて巣を作っているかのようでした。シリコン生命体が彼らに感動する理由はありません。他の鳥や蜂や蝶のことなど気にも留めません。生物は進化の産物であり、何百万年もかけて環境に適応してきました。彼らはついていけないのです。巻き添え被害に遭うことになるのでしょうか？

シュミットとキッシンジャーのエリート集団には、猫、犬、鳴鳥、クジラ、サギ、カバ、ヤモリ、魚でいっぱいの大きな水槽、庭園、ゾウ、ホタル、エビ、イカ、そしてもちろんタコの先生も含まれるべきだと思います。これらの生き物はすべて、人間には理解できない世界を認識し、変化に適応する方法を持っています。もし私たちの発明が思考方法以外のすべてを変えてしまったのが本当なら、他の種類の生命にも当てはまる思考方法を検討する必要があるのか​​もしれません。

悲しいことに、数十年にわたる核実験と、私たちの優れた機器の旺盛な消費によって引き起こされた環境破壊により、猫、人間、魚、木など、私たち全員が生き残るために必要なものが奪われています。

AI界の最も賢明な頭脳たちは、長年、私たちに傍観者でいるのはやめろと訴えてきました。未来はまだ書かれていない。私たちが未来を自分のものにする必要がある。それなのに、どういうわけか私たちは、あの奇妙にお馴染みの議論に陥ってしまうのです。「止めることはできない。避けられないのだ」。私たちにできるのは、机の下に隠れて、すべてが展開するのを見守ることだけだ、と。この避けられないという主張は、かつて物理学者の友人を激怒させたものです。結局のところ、私たちは現実世界に生きているのだから、ある出来事は防ぐことができない、と言われると、彼は杖を叩きながら叫んだものです。「これは現実世界じゃない。私たちが作り上げた世界だ！」私たちはもっとうまくやれるはずです。

友人は基本的に楽観主義者で、普通の人々の賢さを信じていました。しかし、その賢さをうまく活用するには、人々が何が起きているのかを理解する必要がありました。透明性と真実が必要でした。原爆ではそれが実現できませんでしたが、AIは違う可能性を秘めています。世界中の人々が、AIをオープンでアクセスしやすく、責任ある、そして人間の価値観に沿ったものにするために、懸命に取り組んでいます。

こうした取り組みが進む一方で、AIが玄関先や画面に瞬時に届けてくれる魅力的な特典を「要求しろ」と言われることに、人々はうんざりし始めているのではないでしょうか。ダグ・ホフスタッター氏が、大学が事実上あらゆる用途に生成型AIの使用を許可した際に返答したように、「機械に踏みつけられる」ことを望む人は誰もいません。少しの抵抗こそが、まさに私たちに必要な打開策となるかもしれません。（「ケーキを食べさせろ」という戦略は、結局のところ、成功しませんでした。）

言い換えれば、「できるから、すべきだ」という物語は逆転しつつある。マイクロソフトのケイト・クロフォードをはじめとする多くの人々は、「拒否の政治」を推奨している。つまり、AIが「人間の繁栄を促進する」場合にはAIを活用するべきだ。そうでなければ、AIを使わない。制御するなら、削除するべきだ、というわけだ。

全体のために一部を犠牲にすることは、進化においてよくある戦略です。意図的に故障させることで、トカゲは捕食者から逃げるために尻尾を残すことができます。尻尾は再生し、せん断ピンは交換されます。機械が飛躍的に進化できるのであれば、私たち人間もそうできるはずです。

皮肉なことに、私が慎重に楽観的になれるのは、爆弾が70年間も私たちの頭上に迫り続けてきたにもかかわらず、私たちがまだここにいるからです。何かがうまくいっているのです。たとえそれが相互確証破壊という歪んだ論理だとしても。カーツワイルは、身をかがめて隠れることが功を奏したのかもしれないと冗談を言いました。単なる幸運というだけでなく、私たちにはそれが分からないだけです。もしかしたら、私たちの心の中に人類への特別な思いがあるからかもしれません。私たちは本当に自分自身を忘れたわけではありません。ただ、気を取られていただけなのです。

そういう時、芸術家の役割は私たちに思い出させるべきだ、と物理学者の友人は考えました。「科学は物理的な領域で何が可能かを教えてくれる。芸術は人間の経験で何が可能かを教えてくれる。」ウクライナに爆弾が投下されている間、ミュージシャンたちは地下でコンサートを行っていた。

スマートマシンは、さらに役に立つこともある。ここ1ヶ月だけでも、主にセレンディピティ（人間特有の才能）のおかげで、AIが私のお気に入りの楽曲（バッハ BWV 998）をリュート、ギター、ピアノ、ハープシコード、電子キーボードで演奏する12組のアーティストの演奏を聴かせてくれた。WIREDの動画では、DJ Shortkutがスクラッチの基本から15段階の難易度でターンテーブルの使い方を解説する動画を視聴できた。タンデム・チャールストンを習い（そして踊り）もした。これはハーレム・ルネッサンス時代に奴隷だった人々が考案した動きで、今ではシアトルの白髪の高齢者を魅了している。人間が指揮する象のオーケストラも見ることができ、その様子も見ることができて感激した。

エルトン・ジョンは、音楽の力は私たちを自分自身の外へ連れ出すことだ、つまり、私たち自身、私たち自身の特別な人間味、私たちを泣かせたり、憧れさせたり、鳥肌が立ったり、くすくす笑わせたりするものをよりよく見ることだ、と言った。

人間はAIをはるかに凌駕する。ただ舵を握り続けるだけでいい。

（私の物理学者の友人は、もちろん、ロバート・オッペンハイマーの弟のフランクです。普段は仲の良い兄弟ですが、フランクが「全員の意見が重要であり、透明性が不可欠である」と信じていたことで仲が悪くなってしまいました。）