国家安全保障の専門家がAIの危険性を計算

ジェイソン・マセニー氏と話をするのは楽しい。ただし、潜在的なテクノロジーと生物医学上の大惨事について長時間話し合う気があるならの話だが。

現在、ランド研究所のCEO兼社長を務めるマセニー氏は、こうした暗いシナリオを考えることでキャリアを築いてきた。公衆衛生を専門とする経済学者出身で、医薬品開発や培養肉の分野に深く関わった後、国家安全保障に目を向けた。

米国情報機関の研究機関である情報高等研究計画局（Intelligence Advanced Research Projects Activity）の局長として、マセニー氏は生物兵器の危険性や設計のまずい人工知能（AI）への注目を高めるよう訴えた。2021年には、バイデン大統領の技術・国家安全保障問題担当上級顧問に任命された。そして昨年7月、核戦略、ベトナム戦争、インターネットの発展に関する政府の政策を形作ってきた米国最古の非営利シンクタンク、ランド研究所のCEO兼所長に就任した。

マセニー氏は、AIを活用したバイオテロなどの脅威について、説得力がありながらも慎重な口調で語る。ドゥームズデイ氏はカジュアルなスーツ姿でそう語る。彼はランド研究所を率いて、米国の民主主義に対する恐ろしいリスクを調査し、気候変動とエネルギーに関する新たな戦略を策定し、中国における「破滅のない競争」への道筋を探っている。しかし、生物兵器とAIに関する長年の懸念は、依然として彼の心の奥底にある。

カリフォルニア州サウサリートで開催された、アスペン研究所とヒューレット財団主催のサイバーセキュリティカンファレンス「Verify」にWIREDのインタビューに同席した彼は、AIによって生物兵器やその他の潜在的に破壊的なツールの製造方法の学習が容易になっていると警告した。（その後、バーで会計を払うと冗談を言ったのには理由がある。）会話は長さと読みやすさを考慮して編集されている。

ローレン・グッド：まずは、ランド研究所での役割と、そこでの将来像についてお聞かせください。ランド研究所はアメリカの歴史において非常に重要な役割を果たしてきました。ご存知の通り、インターネットの誕生にも貢献してきました。

Jason Matheny:まだバグを修正中です。

そうです。今夜、全てを解決します。ランド研究所は核戦略、ベトナム戦争、宇宙開発競争にも影響を与えてきました。ランド研究所での在任期間をどのようなものにしたいとお考えですか？

私が本当に成長に貢献したい分野が3つあります。まず、安全とセキュリティをめぐる競争の底辺化を回避し、（技術）競争のあり方を考えるための枠組みが必要です。例えば、中国との競争を破滅に導くにはどうすればよいでしょうか。2つ目の焦点は、我が国の技術要件、既存および建設中のインフラ、そして経済性を考慮しつつ、気候変動とエネルギー戦略をどのように策定できるかを考えることです。

そして3つ目の分野は、現在、米国だけでなく世界全体における民主主義へのリスクを理解することです。政策論争において事実や証拠がどのように扱われるかという規範が崩壊しつつあります。ランド研究所には、こうした規範の崩壊を目の当たりにし、非常に懸念を抱いている研究者たちがいます。これは米国だけでなく、世界中で、様々な独裁政治の復活と並んで起こっていることだと思います。

あなたが長年関心を寄せてきたリスクの一つに「バイオリスク」があります。起こりうる最悪の事態とはどのようなものでしょうか？詳しく教えてください。

私は国家安全保障に携わる前は公衆衛生学の分野でキャリアをスタートし、マラリアや結核といった感染症対策に携わっていました。2002年、DARPA（国防高等研究計画局）のプロジェクトで初めてウイルスがゼロから合成されました。これは生物科学と公衆衛生のコミュニティにとって一種の「ヤバい」瞬間でした。生物学が工学の分野になり、悪用される可能性もあることを悟ったのです。私は天然痘根絶作戦の退役軍人たちと仕事をしていましたが、彼らは「ヤバい、何十年もかけて根絶した病気が、今やゼロから合成できるなんて」と考えていました。

その後、バイオセキュリティの分野に移り、バイオ研究所のセキュリティを強化して、利用される可能性を低くするにはどうすればいいのか、生物兵器計画を検知するにはどうすればいいのか、といった疑問に取り組みました。残念ながら、生物兵器計画は世界の一部の地域で依然として相当数存在しています。また、人工的に作り出されたパンデミックだけでなく、自然発生的なパンデミックに対しても、より強靭な対応力を持つために、社会にさらなるセキュリティを組み込むにはどうすればいいのか、といった疑問に取り組みました。

社会には依然として多くの脆弱性が残っています。新型コロナウイルスはそれを如実に示しました。今回のウイルスは歴史的に見て比較的軽度で、感染致死率は1%未満でした。一方、天然ウイルスの中には致死率が50%をはるかに超えるものもあります。SARS-CoV-2と同等の感染力を持ちながら、致死率が100%に近い合成ウイルスも存在します。ワクチンの設計と製造は迅速に行えるようになりましたが、承認を得るのにかかる時間は20年前とほぼ同じです。つまり、国民全体にワクチンを接種するために必要な時間は、私たちの両親、さらには祖父母の時代とほぼ同じなのです。

私がバイオセキュリティに興味を持ち始めた2002年当時、ポリオウイルスという極めて小さなウイルスを作るのに何百万ドルもかかりました。ポックスウイルスという非常に大きなウイルスを合成するには10億ドル近くかかったでしょう。今日ではコストは10万ドル未満なので、当時と比べて1万分の1にまで減少したことになります。一方、ワクチンのコストは当時3倍にも上昇しました。防御と攻撃の非対称性は間違った方向に進んでいます。

バイオリスクにおける私たちの最大の敵は何だと思いますか?

まず第一に、自然です。自然ウイルスの進化は続いています。今後もウイルスによるパンデミックは起こるでしょう。中には新型コロナウイルス感染症よりも深刻なものもあれば、そうでないものもありますが、私たちはどちらに対しても耐性を持たなければなりません。新型コロナウイルス感染症は米国経済に10兆ドル以上の損害を与えましたが、次のパンデミックを防ぐために私たちが投資しているのは、おそらく連邦政府による20億ドルから30億ドル程度でしょう。

もう一つのカテゴリーは、意図的な生物兵器攻撃です。オウム真理教は、生物兵器計画を有していた日本の終末論カルト教団でした。彼らは、地球上のすべての人々を殺害することで予言を成就できると信じていました。幸いなことに、彼らは1990年代の生物学を研究しており、当時はそれほど洗練されていませんでした。しかし残念なことに、彼らはその後化学兵器に転じ、東京サリン事件を起こしました。

今日、大量殺戮の意図を持つ個人や集団が、生物学を武器として利用することへの関心を強めています。彼らが生物学を効果的に利用できないのは、道具や原材料の規制が原因ではありません。なぜなら、それらはすべて多くの研究室やeBayで入手可能だからです。DNA合成装置でさえ、10万ドルをはるかに下回る価格で購入できます。必要な材料や消耗品はすべて、ほとんどの科学用品店で入手できます。

終末論を唱える集団に欠けているのは、これらのツールを生物兵器に変えるノウハウです。AIによってそのノウハウがより広く利用可能になるという懸念があります。[AIの安全性と研究を専門とする企業] Anthropicによる研究の中には、生物学の知識が乏しい者がこれらのツールを悪用する可能性について、リスク評価を行ったものがあります。彼らは、大規模な言語モデルという形でデジタルチューターから大学院レベルの訓練を受けることができるのでしょうか？今のところはおそらく無理でしょう。しかし、ここ数年の進歩を振り返ると、生物兵器攻撃を実行しようとする者にとって参入障壁は低下しつつあります。

それで…今夜はバーがオープンしていることを皆さんにお知らせしておきます。

アンハッピーアワー。私たちが支払います。

今、誰もが AI と超人工知能が人類を追い抜く可能性について語っています。

それはもっと強い酒が必要になるだろう。

あなたは効果的な利他主義者ですよね？

新聞によれば、そうです。

あなた自身をそう表現しますか?

私自身は、効果的利他主義者だと自認したことはありません。妻はそれを読んだ時、「あなたは効果的でも利他主義者でもないわ」と言いました。しかし、ランド研究所にはAIの安全性について非常に懸念を抱いている効果的利他主義者が確かにいます。そして、彼らは他の多くの人々よりも長くAIの安全性について懸念を抱いてきたコミュニティです。その理由の一つは、彼らの多くがコンピューターサイエンス出身だからです。

つまり、あなたは効果的利他主義者ではなく、一部の効果的利他主義者のように、長年AIに対して非常に慎重な姿勢をとってきたということですね。何年も前に、AIを世界に解き放つことに慎重になる必要があると考えたきっかけは何だったのでしょうか？

生物学の悪用から身を守るために私たちが頼りにしているものの多くは知識であることに気づいた時だったと思います。高度に専門化された知識をガードレールなしに容易に獲得できるAIは、必ずしも良いものではありません。核に関する知識も創造されるでしょう。生物兵器に関する知識も創造されるでしょう。サイバー兵器に関する知識も創造されるでしょう。ですから、兵器システムに関する知識を含め、高度に専門化された知識を創造できるツールのリスクとメリットのバランスをどう取るかを考えなければなりません。

2016年よりずっと前から、こうなることは明らかでした。ジェームズ・クラッパー（元米国国家情報長官）もこのことを懸念していましたが、オバマ大統領も同様でした。2016年10月にWIREDにインタビュー記事が掲載されました。[オバマ大統領はAIが新たなサイバー攻撃の原動力となる可能性があると警告し、パンデミックについて「多くの時間を懸念に費やしてきた」と述べました。—編集者] 彼が懸念していたのは、大規模なマルウェア生成に特化したソフトウェアエンジニアリングがはるかに高速化したらどうなるかということです。基本的に労働力を自動化すれば、実質的に100万人もの人々が眠らずに常に新しいマルウェアをコーディングすることになります。

同時に、サイバーセキュリティも向上します。セキュリティが100万倍も向上する可能性があるからです。ですから、大きな疑問の一つは、こうした技術が普及するにつれて、サイバー攻撃やサイバー防御において何らかの自然な優位性が生まれるかどうかです。長期的にはどうなるのでしょうか？その答えは私には分かりません。

AIの冬、あるいは減速期がいつか訪れる可能性はあると思いますか？それとも、テクノロジー業界の人々がよく言うように、これは単なるホッケースティック型の成長なのでしょうか？

現時点では、それが劇的に減速するとは考えにくい。むしろ、投資すればするほど規模が拡大し、より多くの投資が可能になるという、正のフィードバックループが生じているようだ。

だから、AIの冬が来るとは思わないけど、どうなるかは分からない。ランド研究所は過去にも空想的な予測実験を行ってきた。1950年代には2000年がどうなるかを予測するプロジェクトがあったが、空飛ぶ車やジェットパックについては多くの予測があったのに対し、パーソナルコンピュータについては全く的中しなかった。だから、あまり先の予測は、結局コイン投げと大差ない結果になるだろう。

ドローンなどの軍事攻撃に AI が利用されることについて、どの程度懸念していますか?

各国が自律型兵器の開発を希望する理由は数多くあります。その一つがウクライナです。ウクライナは自律型兵器の培養皿のような存在です。そこで使用されている無線妨害技術によって、もはや自国と通信する必要のない自律型兵器を保有したいという強い欲求が生まれます。

しかし、サイバー[戦争]は、そのスピードと通信できない場所への侵入深さの両方から、自律性が費用便益比で最も高い領域であると私は考えています。

しかし、エラー率の高い自律型ドローンの道徳的、倫理的影響についてはどうお考えですか?

エラー率に関する実証研究は、結果がまちまちだと思います。[一部の分析では]、自律型兵器はミス率が低く、民間人の犠牲者も少ない可能性が高いことが示されています。これは、人間の戦闘員がストレスや危害のリスクにさらされた状況で誤った判断を下すことがあるためです。場合によっては、自律型兵器の使用によって民間人の死者数が少なくなる可能性もあります。

しかし、自律型兵器の将来がどうなるか予測するのは非常に難しい分野です。多くの国が自律型兵器を全面的に禁止しています。一方で、「まあ、どうなるか、精度や正確さがどうなるかを見てから判断しましょう」としている国もあります。

もう一つの疑問は、自律型兵器が、法の支配が強い国にとって、そうでない国よりも有利であるかどうかです。自律型兵器に非常に懐疑的である理由の一つは、その価格が非常に安いことです。人的資本が非常に弱い一方で、潤沢な資金があり、利用可能なサプライチェーンがある場合、それは人的資本への投資が豊富な民主主義国よりも、より裕福な独裁国家の特徴です。自律型兵器は、民主主義国よりも独裁国家にとって有利になる可能性があります。

ランドは中国に関する分析、特に中国の経済、産業政策、国内政治に関する理解にギャップがある分野への投資を増やす予定だとおっしゃっていますが、なぜ投資を増やしたのですか？

（米中関係は）世界で最も重要な競争の一つであり、また重要な協力分野でもあります。今世紀を良い方向へ導くためには、この両方を正しく進めなければなりません。

米国は1812年の戦争以来、GDPの3分の2以上を占める戦略的競争相手に直面していない。そのため、経済、産業、軍事、人的資本、教育、才能など、さまざまな競争分野における純粋な強みと弱みを正確に評価する必要がある。

では、米中が協力できる相互利益の分野はどこにあるのでしょうか？核不拡散、気候変動、特定の投資、そしてパンデミックへの備えなどです。これらを正しく行うことは、世界最大の二大経済大国にとって非常に重要だと思います。

最近、NVIDIAのCEOであるジェンスン・フアン氏と話をする機会があり、米国の輸出規制について話し合いました。例えば、NVIDIAは2022年に導入された規制により、最も高性能なGPUの中国への出荷が制限されています。この戦略は長期的に見てどれほど効果的なのでしょうか？

一つ、理解しにくい計算があります。たとえ米国が[Nvidia] H100のような先進的なチップの中国への輸出を阻止することに成功したとしても、中国は他の手段でそれらのチップを入手することができるのでしょうか？ もう一つの疑問は、中国はそれほど先進的ではないとしても、私たちが懸念するような性能を十分に発揮できる独自のチップを製造できるのでしょうか？

もしあなたが（中国の）国家安全保障の意思決定者で、「必要な攻撃兵器を開発するために、このデータセンターが絶対に必要です。H100を使うほど費用対効果は高くなく、光熱費もかさむので4倍の費用がかかり、速度も遅くなります」と言われたら、おそらくその費用を支払うでしょう。そこで疑問が生じます。意思決定者はどの時点で料金を支払う気をなくすのでしょうか？10倍の費用でしょうか？20倍でしょうか？その答えは私たちには分かりません。

しかし、輸出規制のせいで、ある種の作戦はもはや不可能になっています。ファーウェイのチップでできることとNVIDIAのチップでできることの差は、チップ技術が中国にとどまっているため拡大し続けており、世界の他の国々はますます進歩していくでしょう。そして、それが様々な軍事作戦に役立つ可能性のあるコンピューティングにおけるある種の軍事効率を阻害しているのです。そして、ウイグル族の収容所をリアルタイムで監視するために使われている新疆ウイグル自治区のデータセンターにNVIDIAのチップが使われているというニュースを最初に報じたのは、ニューヨーク・タイムズの記者、ポール・モザーだったと思います。

非常に難しい疑問が浮かび上がります。人権侵害に利用されているデータセンターに、これらのチップを導入すべきなのでしょうか？政策に対する個人の見解に関わらず、計算をすることは非常に重要であり、ランド研究所では主にこの点に焦点を当てています。