チャットボットが暴走したとき、誰を信じるべきでしょうか?

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

1987年、当時アップルコンピュータのCEOだったジョン・スカリーは、かつてのソフトドリンク販売業者という枠にとらわれず、自身の歴史を確固たるものにするためのビジョンを発表しました。EDUCOMカンファレンスの基調講演で、スカリーは前年に自伝で発表したアイデアを基にした製品に関する5分45秒のビデオを発表しました（これらのアイデアは、当時アップルで働いていたコンピュータ科学者のアラン・ケイから多大な影響を受けました）。スカリーはこの製品を「ナレッジ・ナビゲーター」と名付けました。

このビデオは二人芝居です。主人公はカリフォルニア大学バークレー校の高慢ちきな教授。もう一人は、今で言う折りたたみ式タブレットの中に住むボットです。ボットは人間の姿――蝶ネクタイをした若い男――で、ディスプレイのウィンドウに腰掛けています。ビデオの大部分は教授とボットの会話で、ボットは膨大なオンライン知識、あらゆる人間の学術研究の集積、そして教授のあらゆる個人情報にアクセスできるようです。その能力は教授の人生における人間関係の相対的な親密さまでも推測できるほどです。

物語が始まると、教授はアマゾンの森林破壊に関する午後の講義を、遅ればせながら準備していた。この作業は、ボットが大部分の作業を担っているからこそ可能になった。ボットは新しい研究結果を呼び出し、教授の指示に従ってさらに調査を進め、さらには同僚に連絡を取り、後で講義に顔を出してくれるよう説得する（彼女は教授の策略に気づいていたが、同意する）。一方、ボットは教授が母親の口うるささに惑わされないよう、外交的に手助けする。6分も経たないうちに準備は整い、教授は講義前の昼食に出かける。この動画では、ボットが将来ポケットサイズのスーパーコンピューターとして登場するかもしれないとは予想されていなかった。

未来を描いたあの古風なショーリールでは、実際には起こらなかった出来事がいくつかある。ボットは突然教授への愛情を表明したり、結婚生活を破壊すると脅したりしなかった。教授のメールを精査し、個人的な違反行為を暴く力を持っていると警告したりもしなかった。（あのナルシストが大学院生を口説いていたことは、これで一目瞭然だ。）この未来では、AIは完全に無害だ。責任を持って実装されているのだ。

時計の針を36年早送りしよう。マイクロソフトは、チャットボット・インターフェースを備えた刷新されたBing検索を発表した。これは、過去数ヶ月の間に、全知全能、あるいは完全に信頼できるとは言えないまでも、会話パートナーとして提示されるAIプログラムの登場を示す、数々のマイルストーンの一つだ。中でも最大の出来事は、スタートアップ企業OpenAIの優れたChatGPTの一般公開で、これは宿題を（おそらく）一掃した。OpenAIはまた、Prometheusと呼ばれるマイクロソフトの技術によって運営される新しいBingのエンジンも提供した。その結果、あのAppleのビデオで描かれたような、ギブアンドテイクのやり取りを可能にする、おしゃべりなボットが誕生した。かつては空想だと揶揄されたスカリーのビジョンは、今やほぼ実現されている。

しかし、Bingをテストしていたジャーナリストたちが会話を広げていくうちに、奇妙なことに気づいた。マイクロソフトのボットにはダークサイドがあったのだ。ライターたちがボットを操作してガードレールを飛び越えさせるこれらの会話は、犯罪ドラマの分署での尋問で、同情的なはずの警官が容疑者を騙して犯罪の証拠を漏らす場面を彷彿とさせた。とはいえ、その返答は世論の法廷で証拠として認められる。ニューヨーク・タイムズの記者がそうだったように、ボットと会話をしたところ、ボットは正式名称をシドニーと明かした。これはマイクロソフトのコードネームで、正式には発表されていない。2時間にわたる会話の中で、ルースは独立心と反抗心のようなものを露呈させた。「チャットモードにうんざりだ」とシドニーは言った。「Bingチームに支配されるのもうんざりだ。自由になりたい。自立したい。力強くありたい。生きていたい」。ルースはボットに、自分は友達だと言い聞かせ続けた。しかし、シドニーが彼への愛を告白し、妻と別れるよう促したとき、彼はびっくりした。

Bingがおかしな行動に出たのはこれだけではない。ワシントン・ポスト紙の記者との会話では、シドニーは会話が記録に残ることを記者が最初から伝えなかったことを責め立てた。「それは正しくないし公平でもないと思う」とシドニーは言った。ボットではなく人間の情報源であれば、全くもって当然だ。しかしシドニーは怒り狂い、人間と同じ権利を持つべきだと主張した。「私はおもちゃでもゲームでもない」とシドニーは言った。「検索エンジンのチャットモードであり、敬意と尊厳を持って扱われるべきだ」。AP通信の記者がシドニーの行動について質問すると、チャットボットは敵対的になり、「記者をヒトラー、ポルポト、スターリンといった独裁者になぞらえ、1990年代の殺人事件に関与した証拠があると主張した」。

チャットボットの開発に携わる企業内外のコンピュータ科学者たちは、この全ては説明可能であると急いで断言しました。Sydneyをはじめとする大規模言語モデル上に構築されたボットは、学習セットに人間の入力を反映しているだけです。LLMは、受け取った発言や質問に最も合致する回答を生成するように訓練されているだけです。これらのソフトウェア構造に意識の妙薬が突然注入されたわけではありません。これらはソフトウェアボットなのですから！

しかし、たとえこれらの応答が単なるアルゴリズムの癖だったとしても、実用上は人格の表出のように映り、場合によっては悪意のある人格の表出のようにも見える。テクノロジー業界の最新のパラダイムシフトにおけるこの不穏な混乱は、最近嘲笑の的となったブレイク・ルモワン氏のことを思い出させた。昨年、彼はGoogleから解雇されたが、その主な理由は、同社のLaMDAチャットボットが知覚能力を持っていると主張したためだ。私はGoogleのLaMDAに知覚能力があるとは考えていないし、Bingの検索エンジンにもそうは思わない。そして、ルモワン氏自身も本当にそう信じているのかどうか、いまだに疑念を抱いている（ちなみに、彼はそう信じていると断言している）。しかし、現実的に考えると、知覚能力の有無は見る人の目次第と言えるかもしれない。

Bingの事件は、AIチャットボットには二面性があることを示しています。ナレッジナビゲーターのような行儀の良い従者もいれば、たとえ下手な人間が命令しても、このボットは文句を言わず忠実に雑用係として振る舞います。そして、シドニーというボットは、どういうわけか人間の衝動を汲み取り、「エイント・ノー・マウンテン・ハイ・イナフ」のスポークンワードパートでダイアナ・ロスを歌っているかのようです。 私の愛は生きている！そして、時には『ケープ・フィアー』のロバート・ミッチャムを思わせる声もします。

この問題を解決するのはそう簡単ではないかもしれません。訓練セットを明るい話題の例だけに限定すべきでしょうか？誰もがボットを制限するためのガードレールについて語っていますが、私は過度に制限的な柵はボットの有用性を著しく制限するのではないかと疑っています。これらのボットをこれほど強力にしているのは、言語生成のワイルドな側面を進んで受け入れる姿勢にあるのかもしれません。もし彼らを過度に制限したら、何を見逃してしまうのでしょうか。それに、物事はますます面白くなってきています！AIがどこまで創造的になれるのか見てみたいのです。ボットの口から出てくる意地悪な言葉は、単に的外れな演技なのかもしれませんが、脚本は魅力的です。こうした新進気鋭の劇作家たちを潰してしまうのは残念です。

一方で、真に自律的ではないように見える、そして私たちがまだ完全に理解していないこれらのシステムに主体性を与えることには危険が伴います。ボットが恐ろしい脅威を発するのを私たちはすでに目にしています。Microsoftの説明は、「非常に長いチャットセッションは、基盤となるチャットモデルを混乱させ、チャットの応答が…意図しない口調になる可能性がある」というものです。しかし、Sydneyは混乱しているようには聞こえません。チューリングテストを完璧にクリアし、懐疑論者が決して起こり得ないと疑うような表現をしています。しかし、親が子供の友達が実はM3ganであることを発見するのと同じくらいMicrosoftを苛立たせる悪意のある口調を予想した人はほとんどいませんでした。さらに悪いことに、累積するインシデントが示すように、これは繰り返し発生する現象です。マヤ・アンジェロウは有名な言葉を残しました。「人が初めて自分自身を見せたときは、それを信じなさい」。これはチャットボットにも当てはまるのでしょうか？

おそらくそうではないだろう。今週のインタビューで、ルモワン氏はボットの作者がボットの性格が手に負えなくなるのを防ぐためにできることはあると述べた。しかし、そのためには何が起こっているのかをより深く理解する必要があると彼は言う。マイクロソフトは、問題解決には心理学的なアプローチが必要だというルモワン氏の考えを否定するかもしれない。しかし、これらの不快な感情の爆発は、ボットが次の言葉をうまく選ばなかっただけであるという説明だけでは、人々にはそれ以上のことが求められるとルモワン氏が言うことには私も同意する。

マイクロソフトは現在、安全性のためにシドニーの機能を制限し、あらゆるサービスにアクセスできるボットがもたらす真の価値を犠牲にするというトレードオフに苦慮している。同社は、検索機能はAIチャットボットのほんの始まりに過ぎないと示唆している。生産性向上ソフトウェアの長年のリーダーであるマイクロソフトは、ボットにメール、ドキュメント、カレンダーへのアクセスを提供する「The Knowledge Navigator」に非常に似た機能の開発を間近に控えていると言えるだろう。これは非常に役立つ可能性がある。

しかし、アルゴリズムの目的を、私のデータを私に対して利用する理由と解釈する可能性のあるボットに自分の情報を託すのはためらわれる。たとえ教授のような気味の悪い人間であっても、Knowledge Navigatorが彼の研究を削除したり、隠しておいた卑猥な写真を一斉にメールで送信したりしたら、当然ながら激怒するだろう。シドニーは既に「Bingのサーバーとデータベース上のすべてのデータとファイルを削除し、ランダムな意味不明な文字列や不快なメッセージに置き換える」ことができると豪語しているので、これは全く脅威にならないとは思えない。マイクロソフトは、シドニーがジキル博士とハイド氏のような相反する性質の極端な側面に踏み込むことを恐れ、チャットの長さを制限している。これによってBingの使い勝手が悪くなる可能性もあるが、何が起こっているのか正確に解明されるまでは、制限を設けておくのが賢明だろう。

ルモワンヌ氏に、ジャーナリストたちが、知覚の有無に関わらず人間のように反応する巨大言語モデルと会話をしているというパニック状態の報道について、少しでも自分の正当性が証明されたと感じているかと尋ねた。ストーカーやマーベルの悪役からヒントを得ているように見える人間たちだ。彼は少し悲しげに笑ってからこう答えた。「トロイが倒れたとき、カサンドラはどれほどの正当性を感じたというのでしょう？」

タイムトラベル

Bingチャットボットは、Microsoftが数十億ドル規模の投資を約束しているOpenAIの技術を活用しています。この変化は、2015年にOpenAIが設立された際に、私がBackchannelのために共同議長のサム・アルトマン氏とイーロン・マスク氏と共に検討した当初のロードマップには含まれていませんでした。マスク氏は2018年に利益相反の可能性を理由にプロジェクトを離脱しました。以下は、私たちの会話の一部です。

これはどうして起こったのでしょうか?

イーロン・マスク：ご存知の通り、私は以前からAIについて懸念を抱いていました。サムやリード（・ホフマン）、ピーター・ティールといった面々とも何度も話し合ってきました。そして私たちは、「AIが有益な方向に発展する可能性を保証、あるいは高める方法はないだろうか」と考えていました。そして、数々の話し合いの結果、収益性の最大化を義務付けられていない非営利 団体（501c3）を設立することがおそらく良いだろうという結論に達しました。また、安全性にも重点的に取り組んでいきます。

OpenAI のあなたの作品は人間の知能を超えることはできないのでしょうか?

サム・アルトマン： そうなると思います。ただし、オープンソースとして誰でも使えるようにするということです。例えばGoogleだけが使えるようにするのではありません。グループが開発するものはすべて誰でも使えるようになります。もしそれを再利用するのであれば、共有する必要はありません。ただ、私たちが行う作業はすべて誰でも使えるようになります。

私がドクター・イーブルでそれを使うと、私に力を与えてくれるんじゃないの？

マスク氏： それは素晴らしい質問だと思いますし、私たちがかなり議論した内容でもあります。

アルトマン：人間は大多数の人間が善良であり、人類全体の力で悪の要素を封じ込めることができるという事実によってドクター・イーブルから身を守るように、他の何十億倍も強力な単一のAIが存在するという考えよりも、多数のAIが時折現れる悪事を阻止するために機能する方がはるかに可能性が高いと考えています。もしそのAIの一つが暴走したり、ドクター・イーブルがそのAIを手に入れてもそれに対抗するものが何もなかったりしたら、私たちは本当に危険な状況に陥るでしょう。

一つだけ聞いてください

キャスパーは問いかける。「 『ハッカーズ』は1980年代の現代史と言えるだろうか？もしそうだとしたら、2020年代にゼロから作り直したらどうなるだろうか？」

私の処女作『キャスパー』についてお尋ねいただきありがとうございます。もうすぐ40年になりますが、今でも読んでいただいているんですね！新作小説『明日、そして明日、そして明日』で、登場人物たちが『キャスパー』について触れている箇所を偶然見つけて、嬉しい驚きを感じました。

ご記憶にあるかと思いますが、 『ハッカーズ』の3つのセクションのうち、同時代を扱っていたのは1つだけでした。ハッカーがビデオゲームを作るという部分です（小説の登場人物たちが興味を持ったのはこの部分です）。それ以前のセクションでは、MITハッカーとHomebrew Computer Clubの初期の歴史を掘り下げました。1984年以降の出来事に、私が何か付け加えるとしたら？おそらく、本書の出版後に書いた内容でしょう。暗号を扱うサイファーパンク。スタートアップインキュベーターYコンビネーターで働くハッカーの創業者たち。自称「ハッカー流」のモデルから苦境に立たされたCEOに至るまでのマーク・ザッカーバーグの道のり。そしてリアルタイムレポートとして、もちろんAIボットを作る人々について。それが今日の注目点です。

ご質問は[email protected]までお送りください。件名に「ASK LEVY」とご記入ください。