『クララとお日様』はAIによって引き起こされる社会分裂を描いている

2021年3月8日午後12時52分

ノーベル賞受賞作家カズオ・イシグロ氏が、AI、Crispr、そして人類への希望についてWIREDに語った。

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

カズオ・イシグロの最新小説『クララとお太陽』は、1種類ではなく2種類の人工知能が登場する世界を描いています。

本書に登場する奇妙に馴染み深い近未来では、AIが社会秩序、労働環境、そして人間関係を一変させている。知能機械はオフィスワーカーの代わりに働き、忠実な仲間、いわゆる「人工の友達」として仕える。遺伝子工学によって知能が強化された子供たちの中には、自らも別の形のAIになっている者もいる。こうした強化された、あるいは「リフトされた」人間は社会に分裂を生み出し、人々をエリートによる支配階級と、改造されずに不本意ながら怠惰に暮らす下層階級に分断する。

2017年のノーベル文学賞受賞後、イシグロが初めて手がけた作品『クララとお日様』は、喪失と後悔、犠牲と憧憬、そして現実感の喪失といった、彼の過去の作品に繰り返し登場するテーマを基盤としている。しかし、テクノロジーがより中心的な役割を果たし、イシグロは生物由来の人工知能と機械化された人工知能を用いて、人間とは何かを問いかけている。

この未来へのビジョンは、石黒氏の現在に対する思いをも表している。彼がWIREDに語ったところによると、この小説は近年の技術革新と、それらの進歩が人類をどこへ導くのかを知りたいという願望に触発されたという。

石黒氏はロンドンの自宅からZoom経由でWIREDの取材に応じた。以下のトランスクリプトは、長さと明瞭性を考慮して編集されている。

WIRED： 『クララ・アンド・ザ・サン』は、 遺伝子操作によって人間が強化された時に何が起こるのかを描いています。これは Crispr 技術のおかげで近い将来実現可能になるかもしれません。なぜこのことに興味を持ったのですか？

カズオ・イシグロ：初めてこの作品のことを知ったのは、ニューヨークの文芸エージェントから送られてきた切り抜きでした。ジェニファー・ダウドナが初めて画期的な作品を発表した時で、すぐに「これは社会に面白い変化をもたらすだろう」と思いました。

私の世代（私は66歳です）なら、世界で起こっていることの多くは、何らかの形で、不当な階層構造、階級制度、植民地制度、肌の色によるカースト制度との闘いに関わっていると実感できるでしょう。この話を聞いた時、実力主義は実に野蛮なものになるだろうと思いました。

でも、私もとても興奮していました。2017年にロンドンで開催されたカンファレンスで幸運にもダウドナ氏にお会いすることができ、このプロジェクト全体にとても興味を持つようになりました。

Crisprは、非常に正確で、比較的安価で、比較的簡単に実行できるため、まさに画期的な技術です。つまり、その恩恵は極めて迅速に得られるということです。

すでに鎌状赤血球症やその他の血液関連疾患を治癒した方もいらっしゃると承知しています。医薬品の面でも、食料生産の面でも、その可能性は計り知れません。

しかし、比較的安価で比較的簡単に行えるという事実自体が、規制を非常に困難にするでしょう。CRISPRを支えるエネルギーの多くは民間部門にあると見ています。従来の政府や大学の管理下ではないため、監督は困難になるでしょう。

私の質問は、誰もが議論に参加できるような議論や討論のプラットフォームを、私たちの社会の中でどのように構築していくかということです。人々がAIについてもっと認識していないのは、少し奇妙だと思います。AIに対する人々の認識は以前よりずっと高まっていて、AIについて話すのも好きなようです。

実はAIについてお聞きしようとしていたんです。 『クララと太陽』 は知能機械の時代を舞台にしているから。AlphaGoのような最近の人工知能の進歩に、あなたも同じように興奮したり、不安を感じたりしますか ？

AlphaGoは幾度となく追い抜かれてきました。しかし、数年前に韓国の囲碁チャンピオン、イ・セドルに勝利したAlphaGoの興味深い点は、その勝ち方でした。AlphaGoは全く異なるスタイルで指しました。笑い転げるような手を指しましたが、本当に滑稽で馬鹿げた手こそが、センセーショナルな結果となったのです。そして、このことが様々な可能性を開いたのだと思います。

以前、あるAIの第一線の専門家に、小説を書けるプログラムがあるかどうかという質問をしたのを覚えています。チューリングテストに合格するだけの小説ではなく、本当に人を感動させたり、泣かせたりするような小説を。それは興味深いと思いました。

専門家は何と言ったのですか?

ええと、デミス・ハサビス（DeepMindの共同創業者）と話していたのですが、彼はこのアイデアに非常に興味を持っていました。何度かこのことについて話し合いましたが、ここで重要な疑問は「AIは本当に人間の感情を理解し、芸術作品のようなものを通してコントロールすることで、共感に到達できるのか？」ということです。

AIプログラム、例えばアルファ・トルストイのようなAIプログラムが、実際に私を笑わせたり泣かせたり、世界を違った視点で見させたりするようになると、危険な段階ではないにしても、興味深い段階に到達したと言えるでしょう。ケンブリッジ・アナリティカのことはさておき。もしAIが私にそんなことができるなら、政治キャンペーンを展開できるほど人間の感情を理解していると言えるでしょう。国全体、あるいは世界全体の不満や怒り、感情を識別し、どう対処すべきかを知っているのです。

この小説では、人間の性格がアルゴリズムによってどのように捉えられ、再構築されるかについても考察されています。なぜそれに興味を持ったのですか？

『クララと太陽』は、ビッグデータやアルゴリズムといったものが私たちの生活に深く浸透した世界をそのまま受け入れています。そして、その世界では、人間は互いを違った目で見るようになってきています。人間とは何か、そしてそれぞれの個性の内に秘められたもの、つまり人間を特別な存在にしているものについての私たちの思い込みは、少し変わってきています。なぜなら、私たちは人々の個性を掘り起こし、解明できる可能性を秘めた世界に生きているからです。

特にプレッシャーを感じている時、お互いに対する気持ちは変わるのでしょうか？愛する人を失う可能性に実際に直面すると、頭で考えるだけでなく、感情的にも、本当に真剣にその問いを自問し始めるのではないでしょうか。「この人は何を意味するのか？この喪失とは何なのか？この痛みから自分を守るために、どんな戦略を立てられるのか？」

そうなると、この問いは非常に現実的なものになると思います。機械の中にいる幽霊のような、単なる抽象的な哲学的な問いではなく、魂についての伝統的な宗教的概念を持つのか、それとも、たとえ膨大で複雑なものであっても、アルゴリズムに還元できる一連の物事というより現代的な概念を持つのか、といった問いです。

ですから、これは非常に人間的で、非常に感情的な問いになります。人間とは一体何なのか、人間の心の奥底には何があるのだろうか、そして人間はどれほどかけがえのない存在なのだろうか。小説家として、私が興味を持っているのはまさにこうした問いなのです。

人工知能はまだこれに近づいていません。それでも、それが何ができるかを心配すべきでしょうか？

一般的に、人間の監視という問題は、まさに今私たちが考えるべき問題です。世間では、ロボットが人間を支配してしまうのではないか、いわば狂気じみたゾンビ・ヴァンパイアのようなシナリオが話題になっていますが、それは高度なAIロボットが登場する話です。それが深刻な懸念事項なのかどうかは分かりませんが、私が特に心配していることではありません。もっと身近な、もっと心配すべき問題がたくさんあると思います。

この世代の機械学習（強化学習と呼んでいると理解しています）の性質は、コンピューターをプログラミングするだけでなく、従来のAIとは全く異なります。AIプログラムに目標を与えるだけで、その後の行動は人間が制御できなくなるのです。そのため、現代の偏見やバイアスがブラックボックスに固定され、解明できなくなるのではないかという問題があります。数年前には全く問題のない当たり前の考えに思えたものが、今では甚だしく不当、あるいはそれ以上にひどいものとして反対されることがあります。しかし、それらがどのように作られているのかを実際に見ることができるので、私たちはそれらを撤回することができます。では、AIによる推奨、助言、そして意思決定に私たちが大きく依存するようになったらどうなるでしょうか？

私よりもはるかに詳しい人たちが、人間を介入させる、つまり人間がそのプロセスを監督するという考え自体に懐疑的な見方を示しています。それは全くの空想で、私たちはとてつもなく遅れをとってしまい、追いつくことは到底不可能です。

最近、AI倫理について多くの議論が行われています。大手テクノロジー企業がこの議論を主導すべきだとお考えですか？

議論をオープンにしたいという願望について、あなたの見る限りではどのようなコンセンサスがあるのでしょうか？AI開発に最も力を入れている人たちが、本当のところは秘密主義なのか、私にはよく分かりません。監視を望まず、あまり話題にしたくないと思っているのでしょうか？それとも、その逆で、「私たちはこうやってやっているけど、慎重に考えるのはあなた次第だ」と言っているのでしょうか？

そういう動機を持つ人もいると思いますが、大企業の勢いは、議論をコントロールし、ビジネスに影響を与える方向に進まないようにする傾向があります。

ここ3、4年で、AI企業は広報活動にかなり慎重になっているように感じます。しかし、人間と機械のパートナーシップ、つまりこれまで人間と機械が築いてきたパートナーシップのような関係性を築く可能性があるという考えは、単なるPR活動なのかどうかは分かりません。それが本心からの信念なのか、それとも一般大衆の不安を煽るための手段に過ぎないのか、私には分かりません。

私が根本的に問いたいのは、究極の目標は人間と機械のパートナーシップを常に維持することなのか、それとも、人間の精神が汚染していくので機械に頼るようになる、という目標なのかということです。つまり、その背後にあるのは不条理です。機械だらけのスタジアムに夜警が一人いるような、名ばかりの、形ばかりの存在になるのです。

私が話を聞いたAI研究者たちは、あらゆる点で人間と同じくらい賢いものを作ろうとしています。その後どうなるかは不明です。

これは私たちにとって大きな課題になると思います。もしこれが、ある仕事が消えて新しい仕事が生まれるという従来の自動化の流れとは違うとしたら（多くの人がそうではないと考えていますが）、私たちは何世紀にもわたって社会を運営してきた方法を考え直さなければなりません。私たち一人ひとりがより大きな企業に貢献し、報酬を得て、そのお金で私生活や家族の食費を賄うという古いシステム、そのシステムを見直さなければならないのです。

それは、お金や物を分配する物質的な方法という観点だけではなく、名声や自尊心の観点でも当てはまります。

私たち人間には、周りの大きなコミュニティに貢献したいという、生まれつき備わっている欲求があるように思います。もし貢献しないと、なんとなく申し訳ない気持ちになり、貢献しない人のことを悪く思ってしまうのです。

このすべてに関して私が抱いている大きな疑問は、有意義な形でこの議論を行えるフォーラムをどうやって構築するかということです。

それを実行する方法について何かアイデアはありますか?

いや、そうは思わない。というのも、ご存知の通り、私たちは必然的にグローバルで国際的な問題について話しているから。今は国際機関にとって良い時期ではない。それに、本当に詳しい人たちは、有意義な議論を促したり、有意義な議論をするために情報を提供したりする意思がどの程度あるのだろうか？

シリコンバレーの人々、あるいはどこにいるにせよ、この件に関して皆が同じ見解を持つような一枚岩の集団だとは思いません。人それぞれに異なる見解があり、おそらく異なる関心を持っているのでしょうが、私が問いたいのは、彼らは私たち残りの人々に何を求めているのかということです。

原作の話に戻りますが、クララはAIとしてはかなり魅力的なキャラクターです。技術者たちは、自分たちの作品も同じように魅力的なものにしようと努力すべきでしょうか？

一つは、AIプログラムやロボットが、私たちが「良い」と定義するような行動をとるかどうかを予測することが難しいかもしれないということです。ご存知のように、強化学習は中心的な報酬関数に依存しており、「過学習」と呼ばれる用語があるようですが、これは私たちが予測できないような行動をとることを意味します。つまり、AIは目標を達成しようとしますが、実際には私たちにとって非常に破壊的な方法で行動するのです。

AIにアイザック・アシモフ風のルールを与えたり、そういうことをできるかもしれないけど、私には無理だと思う。だって、ロボットがいないと、何が望ましいのか、何が良いのか、何がそうでないのか、私たち自身で決めることができない。あなたが住んでいる国では、自由とは何か、あるいは民主主義とは何かという問いさえ明確ではない。多くの人は、自由とは民主主義を取り戻すために国会議事堂で暴動を起こすことだと思っている。

私が言いたいのは、どうすれば議論を始められるかということです。私たちの文化には、それぞれが果たすべき役割があります。本を書く人や、大ヒットテレビシリーズを作る人たちは、非常に大きな役割を担っていると思います。『ウエストワールド』のような、こうした問題を提起する非常に興味深いテレビシリーズもありました。しかし、議論はもっと緊急かつ真剣なものにする必要があります。

昨年は、言うまでもなく、信じられないほど困難で、これまでとは全く異なる一年でした。小説家として、あなたにとってインスピレーションとなりましたか？

パンデミックについて一つ言いたいのは、驚くほど多くの人が亡くなっているということです。私たちはまだこの現実に気づいていないと思います。これは、まさに異常な規模の死です。今、世界中で何百万人もの人々が、身近な人を失い、ショックを受け、深い悲しみに暮れています。そして、この精神的ダメージは計り知れないものになると思います。

しかし、私たちは街の繁華街がどのように変化するか、Zoomや在宅勤務などに注目しており、それは当然のことです。しかし、この問題で特に重要なのは、この死亡率の高さです。ご存知の通り、イギリスでは昨年13万人以上が亡くなりました。これは第二次世界大戦の民間人の死者数の2倍以上です。最近、あるコメンテーターが、アメリカで50万人という死者数は、二つの世界大戦とベトナム戦争を合わせたよりも多くの死者数だと言っていました。

これほど多くの人が亡くなり、多くの人が遺族を抱え、物事が正しく行われなかったという感覚が残るような状況を、何かが起こらないまま、そのまま放置しておくことはできないと思います。実際に重大な結果が伴うことなく。それが何なのか、私にはよく分かりません。

もう一つは、インスピレーションと言うよりは、ただ私が観察してきたことですが、奇妙な矛盾した現象が起きているということです。つまり、真実についての2つの異なるバージョン、あるいは真実の探し方についての2つの異なるバージョンが、ここ数ヶ月の間に猛烈に前面に出てきているようです。

一方で、私たちは科学的手法に必死に頼るようになり、「証拠を見せろ、証拠を査読しろ」と言い出すようになりました。そして同時に、アメリカ国民の半数がドナルド・トランプが選挙に勝ったと信じているものの、それを信じたいがために、その勝利は彼から奪われたという状況も生じています。真実とは、自分が信じたいもの、つまり、心の中で強く感じたいもの、という考え方です。

私のような人間は、感情的な真実の重要性を非常に重視してきました。小説など、人々の心を動かすようなものを創作しているのです。そして、そのことが私を少し立ち止まらせました。今、私たちの生活の中で、この全く相反する二つの考え方が大規模に共存しているのを見ると、自分が真実だと感じるものについて、この考え方に本当に貢献していたのだろうかと疑問に思うのです。

このインタビューでは少し暗い話になってしまったことに気づいています。

そうです！『クララとおひさま』は明るくて楽観的な本になるはずです！

さて、 最後に、将来についてどれくらい楽観的であるかお聞きしたいと思います。

ええ、私たちがこれまでお話ししてきたこれらの科学技術分野は、私たちに計り知れない利益をもたらす可能性があると思います。それは実現するかもしれません。もし私たちがこれらの素晴らしいツールを前向きに活用するという課題に立ち向かうことができれば、私たちは多くのことを期待できるでしょう。

自由民主主義がいかに脆弱であるかが示されたことに関しては、正直言って、かなり動揺しています。30年前には存在しなかった、自由民主主義に対する非常に強力な競争モデルが今や存在していると思います。人工知能のようなものが、自由民主主義ではない体制を実際に助けると言っているわけではありませんが、それはあり得ないことではないと思います。

自由民主主義社会が権威主義社会や中央計画社会に対して持っていた優位性が失われるかもしれない。高度な人工知能があれば、ソ連は繁栄し、西側諸国よりも多くの高級品を生産し、私たちは彼らのスーパーマーケットの品揃えを羨ましがっていたかもしれない。

しかし、もし私が楽観的な理由があるとすれば、それは『クララとお日様』に込めようとした楽観主義です。人間には良い面があり、その一部は私たちの中に、まるでクララのような生き物にプログラムされているかのように、生来備わっているものだと思います。彼女は人間の本質を映し出す鏡であり、人間社会を映し出し、そこから学びを得ています。私は親の役割、つまり養い、守るという側面を取り上げましたが、人間には生来備わっているものが多くあり、それが私たちに希望を与え続けているのだと思います。

科学におけるこうした画期的な進歩は、素晴らしいものになる可能性を秘めていると思います。しかし、私たちはそれらに備えておく必要があります。

WIREDのその他の素晴らしい記事