AIは意識を獲得するか？間違った問い

2019年2月19日午前7時

私たちは、意識のある人間のようなエージェントではなく、良心も死への恐怖もなく、愛憎に惑わされることのない、神託のようなまったく新しい種類の存在を創造すべきです。

私たちが創造すべきは、意識を持つ人間型のエージェントではなく、良心も死への恐怖もなく、愛憎に惑わされることのない、まるで神託のような全く新しい存在です。フック・ファム

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

サイバネティクスの父、ノーバート・ウィーナーが1950 年に著書『人間による人間の使用』を執筆したとき、真空管はまだ主要な電子部品であり、実際に稼働しているコンピュータはほんのわずかでした。

しかし彼は、私たちが今直面している未来を、驚くほど詳細に、そして明らかな誤りをほとんどなく描いていた。初期の人工知能哲学者の中で、彼はAIが多くの知的活動において人間を模倣し、置き換えるだけでなく、その過程で人間そのものを変化させることを認識していた。「私たちは、絶え間なく流れる川の中の渦に過ぎない」と彼は記している。「私たちは、永続する物質ではなく、自らを永続させるパターンなのだ。」

例えば、魅力的な機会が豊富にある場合、私たちは新たな力を得るために、多少の、あるいは取るに足らないコストを惜しまずにビジネスを行う傾向があります。そしてすぐに、私たちは新たなツールに過度に依存するようになり、それらなしでは生き残れなくなってしまいます。選択肢を持つことが義務となってしまうのです。

これは非常に古い話で、進化の歴史において多くのよく知られた章があります。ほとんどの哺乳類はビタミンCを自ら合成できますが、霊長類は主に果物からなる食事を選んだため、その生来の能力を失いました。私たちが人間と呼ぶ自己永続的なパターンは、今や衣服、調理済み食品、ビタミン、ワクチン、クレジットカード、スマートフォン、そしてインターネットに依存しています。そして、今日でなくても明日にはAIにも依存するでしょう。

ウィーナーは、この初期の状況に、アラン・チューリングや他の初期のAI楽観論者がほとんど見落としていたいくつかの問題を予見していました。彼によれば、真の危険は

そのような機械は、それ自体では無力であるにもかかわらず、人間または人間の集団によって、残りの人類に対する支配力を高めるために利用される可能性がある。あるいは、政治指導者が、機械そのものではなく、まるで実際に機械的に考え出されたかのように、人間の可能性に狭量で無関心な政治的手法によって、国民を支配しようとする可能性がある。

予想通り、こうした危険は今や蔓延しています。

たとえばメディアでは、デジタルオーディオとビデオの革新により、（オーディオマニアや映画愛好家の目から見れば）アナログ形式を放棄するという小さな代償を払うだけで、ほぼ完璧な忠実度で録音を簡単に（あまりにも簡単に？）再現できるようになりました。

しかし、そこには莫大な隠れたコストが伴う。オーウェルの「真実省」は今や現実味を帯びてきた。AI技術を駆使し、ほぼ検知不可能な偽造の「記録」を作成し、過去150年間当たり前のように利用してきた捜査ツールを時代遅れにしてしまうだろう。

私たちは、写真証拠の短い時代を捨て去り、人間の記憶と信頼が黄金律を提供していた以前の世界に戻るのでしょうか。それとも、真実をめぐる軍拡競争の中で、新たな防御と攻撃の技術を開発するのでしょうか。（光に晒されたアナログフィルムが、陪審員などに提示されるまで「改ざん防止」システムに保管される時代に戻ることは想像できますが、誰かがそのようなシステムに疑念を植え付ける方法を見つけるまで、どれくらいの時間がかかるでしょうか。）

最近の経験から得られた憂慮すべき教訓の一つは、信頼性に対する評判を失墜させる方が、その評判を守るよりもはるかに費用がかからないということだ。ウィーナーはこの現象を最も一般的に捉え、「長期的には、自らを武装させることと敵を武装させることの間に区別はない」と述べた。情報化時代は、偽情報の時代でもあるのだ。

私たちに何ができるだろうか？私にとって鍵となるのは、ウィーナーが前述のようにほとんど何気なく述べた「これらの機械」は「それ自体では無力だ」という言葉だ。私が最近主張しているように、私たちは道具を作っているのであって、同僚を作っているのではない。そして、その違いを認識していないことが大きな危険であり、私たちはその違いを強調し、政治的・法的革新によってそれを際立たせ、守るよう努めるべきである。

現状のAIは人間の知能に寄生している。人間の創造主が作り出したものを無差別に貪り食い、そこに存在するパターン――人間の最も有害な習慣の一部も含む――を抽出する。これらの機械は（まだ）目標も戦略も、自己批判や革新のための能力も備えていないため、自らの思考や目標について内省的に考察することでデータベースを超越することはできない。

ウィーナーが言うように、彼らは無力である。それは、束縛された主体や無力な主体という意味ではなく、そもそも主体ではないという意味、つまり、提示された「理性によって動かされる」（カントの言葉を借りれば）能力を持たないという意味である。この状態を維持することが重要であり、そのためにはある程度の努力が必要となるだろう。

長期的には、「強いAI」、つまり汎用人工知能は原理的には実現可能だが、望ましいものではない（これについては後述）。現在、実用化が進んでいる、はるかに制約の厳しいAIは必ずしも悪ではない。しかし、それ自体に固有の危険が潜んでいる。特に、強いAIと誤認される可能性があるのだ。

今日のシステムと、一般の人々の想像力を支配しているSF的なシステムとの間のギャップは依然として大きく、一般人も専門家も、多くの人がそのギャップを過小評価しがちです。IBMのWatsonを考えてみましょう。Watsonは、当面の間、私たちの想像力にとって価値あるランドマークとなるでしょう。

これは、何世紀にもわたるインテリジェントデザインの大規模な研究開発プロセスの成果であり、人間の脳の数千倍ものエネルギーを消費します。Jeopardy !での勝利は、 Jeopardy!のルールの定型的な制約によって可能になった真の勝利でした。しかし、Jeopardy!で競争するためには、このルールさえも改訂する必要がありました（トレードオフの一つは、多少の汎用性と多少の人間味を犠牲にして、観客を喜ばせるショーを手に入れることです）。

IBMは一般的な会話能力を謳う誤解を招く広告を出しているが、Watsonは良い仲間ではない。Watsonを多次元エージェントに仕立て上げるのは、まるで計算機をWatsonに変えるのと同じだ。Watsonはそのようなエージェントにとって有用な中核機能となる可能性はあるが、心というよりは小脳や扁桃体に近い。せいぜい、大きな補助的な役割を果たす特殊用途のサブシステムではあるが、目的や計画を策定し、会話経験を洞察力豊かに構築するというタスクには到底及ばない。

なぜワトソンから思考力と創造性を持つエージェントを作ろうとするのでしょうか？チューリングの優れた操作テスト、いわゆる「チューリングテスト」というアイデアが、私たちを罠に誘い込んでしまったのかもしれません。それは、少なくとも画面の向こうに実在の人間がいるという幻想を作り上げ、「不気味の谷」を乗り越えようとする試みです。

ここで危険なのは、チューリングが課題を提示して以来――結局のところ、審査員を騙すための課題だった――AI開発者たちが、この谷を可愛らしい人間型のタッチ、つまり初心者を魅了し、警戒心を解くようなディズニー化効果で覆い隠そうとしてきたことだ。ジョセフ・ワイゼンバウムの初期のチャットボットであるエリザは、こうした表面的な幻想を作り出す先駆的な例だった。笑ってしまうほど単純で浅薄なプログラムが、人々に真剣な心からの会話をしていると思わせるのはいとも容易だったことに、ワイゼンバウムは落胆し、このミッションに着手した。

彼が心配するのは当然だった。毎年恒例のローブナー賞をめぐる限定的なチューリングテストコンテストから私たちが学んだことが一つあるとすれば、それは、コンピュータプログラミングの可能性や近道に通じていない非常に知的な人々でさえ、簡単なトリックに簡単に騙されてしまうということだ。

AI業界の人々の「ユーザーインターフェース」におけるこうした偽装手法に対する態度は、軽蔑から称賛まで様々だが、一般的にはこうしたトリックは深みはないものの、強力な効果を発揮しうると認識されている。非常に歓迎すべき態度の変化の一つは、人間型ロボットによる装飾は虚偽広告であり、称賛すべきものではなく非難すべきものであることを率直に認めることである。

それは一体どうすれば実現できるのだろうか？人々が、実際には内部の仕組みが理解不能なAIシステムからの「アドバイス」に基づいて、生死に関わる決定を下し始めていることを認識すれば、これらのシステムに本来の信頼以上の信頼を置くよう人々に促す者が、道徳的かつ法的に責任を問われるべき十分な理由が理解できるだろう。

AIシステムは非常に強力なツールであり、その強力さゆえに、専門家でさえ、ツールが下す「判断」に対して自身の判断を信用しない十分な理由があるほどです。しかし、ツールのユーザーが、これらのツールを未知の領域で運用することで、金銭的またはその他の利益を得ようとするのであれば、最大限の制御と正当性をもって、責任を持って運用する方法を確実に理解しておく必要があります。

薬剤師やクレーンオペレーターなど、ミスや判断ミスが悲惨な結果を招く可能性のある他の専門家にライセンスを付与するのと同じように、これらのシステムのオペレーターにライセンスと保証を与えることで、保険会社やその他の引受業者からの圧力により、AIシステムの開発者は、製品の弱点や欠陥を探して明らかにするために並外れた努力をし、それらに注意するよう、システムを操作する資格を持つ人々にトレーニングを行う義務が生じる可能性がある。

いわば、逆チューリングテストのようなものを想像してみてください。裁判官が裁判にかけられるのです。システムの弱点、逸脱した境界、欠陥を見つけ出さない限り、業務許可は出されません。裁判官としての資格を得るために必要な精神修養は、厳しいものとなるでしょう。知的存在と思しきものに遭遇した際に私たちがいつも用いる、物体に人間のような思考力があると信じ込ませたいという衝動は、ほとんど圧倒的なほどに強いのです。

実際、一見人間に見える人間を人間として扱う誘惑に抵抗する能力は、人種差別や種族差別の匂いがプンプンする醜い才能である。多くの人々は、このような冷酷なまでに懐疑的なアプローチを培うことを道徳的に忌まわしいと感じるだろうし、システムの最も熟練したユーザーでさえ、たとえ職務遂行への不快感を和らげるためだけでも、ツールと「友達になる」誘惑に時折屈してしまうことは容易に想像できる。

AI設計者がいかに綿密に製品から偽りの「人間的」な感触を洗い出そうとも、システムとその運用者双方の実際の「理解」を歪曲する近道や回避策、そして容認される歪曲が蔓延すると予想される。テレビで宣伝される新薬の既知の副作用の滑稽なほど長いリストは、特定のシステムでは責任を持って答えられないような疑問の義務的な暴露と比べれば、矮小化されるだろう。製品の欠陥を「見過ごす」メーカーには重い罰則が科されるだろう。（今日の世界における経済格差の拡大の相当部分は、デジタル起業家が蓄積した富によるものであることは広く認識されている。彼らの潤沢な資金を公共の利益のためにエスクローする法律を制定すべきである。）

人工的な意識を持つエージェントは必要ありません。自然な意識を持つエージェントは既に溢れており、そのような特別な特権を持つ存在にのみ与えられるべきタスクをこなすには十分です。私たちに必要なのは、知的なツールです。ツールには権利はなく、無能なユーザーによる「虐待」に傷ついたり、憤慨したりするような感情を持つべきではありません。

人工的に意識を持つエージェントを作らない理由の 1 つは、人工的にどんなに自律的になったとしても (そして原理的には人間と同じように自律的、自己強化的、自己創造的になり得る)、特別な規定 (免除される可能性もある) がない限り、人工的に意識を持つエージェントは私たち自然の意識を持つエージェントと同じように脆弱性や死亡確率を共有しないだろうという点です。

かつてタフツ大学で人工エージェントと自律性に関するセミナーを開催し、学生たちに課題を与えました。「あなたと拘束力のある契約を結べるロボットの仕様を教えてください。人間の所有者の代理人としてではなく、ロボット自身で。これは、契約条項を理解したり、紙の上でペンを操作したりできるロボットの問題ではなく、道徳的に責任あるエージェントとしての法的地位を持ち、それに値することの問題です。小さな子供はそのような契約に署名できませんし、何らかの法的地位により何らかの保護者の保護と責任の下に置かなければならない障害者も署名できません。」

そのような崇高な地位を獲得しようとするロボットにとっての問題は、スーパーマンのように、ロボットはあまりにも無敵であるため、信頼できる約束をすることができないということです。もし約束を破ったら、何が起こるでしょうか？約束を破った場合の罰則は？独房に閉じ込められる、あるいはもっと妥当な方法としては、解体されるでしょうか？AIが自ら無視したり無効にしたりできない人工的な放浪癖を最初にインストールしない限り、閉じ込められることはAIにとってほとんど不便ではありません（そして、AIの狡猾さと自己認識が想定されていることを考えると、これを完璧な解決策にすることは体系的に困難です）。そして、AI（ロボットであれ、ワトソンのような寝たきりのエージェントであれ）を解体しても、その設計とソフトウェアに保存されている情報が保存されている限り、AIを殺すことにはなりません。

デジタル記録と伝送の容易さ、つまりソフトウェアとデータが事実上不滅になることを可能にする画期的な進歩は、ロボットを脆弱な世界から遠ざけます（少なくとも、デジタルソフトウェアとメモリを備えた、通常想像される種類のロボットは）。もしこれが明白でないなら、例えば毎週人間の「バックアップ」を作成できたら、人間の道徳観はどうなるか考えてみてください。土曜日にバンジーコードも使わずに高い橋から頭から飛び込むのは、金曜の夜に作成したバックアップが日曜の朝にオンラインになった時には忘れてしまうほどの興奮でしょう。しかし、その後、自分が死んだように見える様子を録画したビデオを楽しむことができるのです。

つまり、私たちが作っているのは、意識のあるヒューマノイドエージェントではなく、良心も死への恐怖もなく、愛憎に惑わされることもなく、個性もない（ただし、システムの「個性」として間違いなく特定されるあらゆる種類の弱点や癖はある）神託のような、まったく新しい種類の存在であり、（運が良ければ）ほぼ確実に散りばめられた虚偽で汚染された真実の箱なのです。

AIが文字通り私たちを奴隷化するシンギュラリティという幻想に惑わされることなく、AIと共に生きていくことを学ぶだけでも大変だろう。人間による人間の利用は間もなく、そして再び、永遠に変わるだろう。しかし、私たちが自らの進路に責任を持つならば、舵を取り、いくつかの危険を回避することができるだろう。

ダニエル・C・デネットは、タフツ大学オースティン・B・フレッチャー哲学教授であり、同大学認知研究センターの共同ディレクターです。

WIREDのその他の素晴らしい記事