生成型AIの発明に貢献した彼は、今それを救いたいと考えている

2016年、Googleのエンジニアであるイリア・ポロスキンは同僚のジェイコブ・ウスコライトと昼食を共にしました。ポロスキンは、ユーザーからの質問にAIを使って有益な回答を提供するというプロジェクトの進捗の遅さに不満を抱いていました。ウスコライトは、彼がブレインストーミングで考えていた「セルフアテンション」という手法を試してみることを提案しました。こうして8人による共同研究が始まり、最終的には2017年に「Attention Is All You Need（必要なのは注意だけ）」という論文が発表されました。この論文では、AIを強化する方法としてトランスフォーマーの概念が紹介され、世界を変えました。

しかし8年経った今、ポロスキン氏は現状に完全に満足しているわけではない。オープンソースを強く信じる彼は、トランスフォーマーベースの大規模言語モデルが、たとえ透明性を基盤として設立された企業（一体誰だ？）でさえも秘密主義であることに懸念を抱いている。何を使って学習されているのか、重みはどれくらいなのか、部外者がいじることもできない。巨大テック企業Metaは自社のシステムをオープンソースだと謳っているが、ポロスキン氏はMetaのモデルが真にオープンだとは考えていない。「パラメータはオープンですが、モデルにどのようなデータが投入されたのかは分かりません。データによって、どのようなバイアスがあるのか、どのような決定が下されるのかが決まります」と彼は言う。

LLM技術が進歩するにつれ、それがより危険なものとなり、利益追求の欲求がその進化を左右するのではないかと彼は懸念している。「企業はより優れたモデルを訓練するために資金が必要だと言います。しかし、そうしたモデルは実際には人々を操る能力が優れており、収益を生み出すためにより適切に調整できるのです」と彼は言う。

ポロスキン氏は、規制が役に立つという確信は全く持っていない。まず、モデルに制限を設けるのは非常に難しいため、規制当局は企業自身に頼らざるを得なくなるだろう。「『モデルのパラメータはこれでいいですか？安全余裕は十分ですか？』といった質問に的確に答えられる人は、そう多くないと思います。エンジニアでさえ、モデルのパラメータや安全余裕とは何かという質問に答えるのは難しいのです」と彼は言う。「ワシントンD.C.では、誰も答えられないでしょう。」

このため、この業界は規制の虜になりやすい。「大企業はゲームのやり方を知っている」と彼は言う。「監視する側が監視される側であることを確実にするために、委員会に自社の人材を投入するだろう」

ポロスキン氏は、代替案として、説明責任が技術自体に組み込まれたオープンソースモデルを主張する。2017年にトランスフォーマーに関する論文が発表される以前から、ポロスキン氏はGoogleを離れ、ブロックチェーン/Web3を専門とする非営利団体「Near Foundation」を設立していた。現在、同氏はNear Foundationのオープン性と説明責任の原則の一部を、同氏が「ユーザー所有AI」と呼ぶAIに適用すべく、半ば方向転換を図っている。ブロックチェーンベースの暗号プロトコルをモデルとすれば、このAIへのアプローチは、中立的なプラットフォームを持つ分散型構造となるだろう。

「誰もがシステムを所有するようになる」と彼は言う。「ある時点で、『もう成長しなくていい』と言えるようになる。ビットコインと同じだ。価格は上がったり下がったりするが、『今年は20億ドルの収益を増やさなければならない』と決める人はいない。このメカニズムを活用すれば、インセンティブを一致させ、中立的なプラットフォームを構築できる」

ポロスキン氏によると、開発者たちは既にNearのプラットフォームを利用して、このオープンソースモデルで動作するアプリケーションを開発しているという。Nearは、この取り組みに取り組むスタートアップを支援するためにインキュベーションプログラムを設立した。有望なアプリケーションの1つとして、AIモデルにコンテンツを提供するクリエイターにマイクロペイメントを分配する手段が挙げられる。

ポロスキン氏に、暗号通貨の評判やWeb3がこれまでインターネットを席巻できなかったことを考えると、現代で最も不安定なテクノロジーを抑制しようとする運動にとって、暗号通貨は必ずしも安心できる類推ではないかもしれないと指摘した。「マーケティングの面で支援が必要なのは確かです」と彼は認めた。

オープンソースAIに対する根強い反対論の一つは、強力なモデルへの普遍的なアクセスを許可すると、悪意のある人物がAIを悪用して誤情報の生成や新兵器の開発などに利用できるようになる可能性があるというものです。ポロスキン氏は、オープンシステムは現状よりも実際には劣っているわけではないと述べています。「安全性とは、これらのモデルの機能を制限するための見せかけに過ぎません」と彼は言います。「どれもジェイルブレイク（脱獄）可能です。それほど難しいことではありません。」

ポロスキン氏は自身のアイデアを広め、業界中の科学者たちと語り合ってきた。その中には「Attention」の共著者も含まれている。共著者の中でも、2016年に運命の食事を共にしたウスコレイト氏から最も強い共感を得たという。今週話を聞いたウスコレイト氏は、ポロスキン氏の主張の多くに賛同しているものの、「ユーザー所有のAI」という呼称には魅力を感じていない。「ユーザー所有のAI」ではなく「コミュニティ所有のAI」という表現を好むという。

彼は特に、オープンソースのアプローチ、特にポロスキン氏が構想するマイクロペイメントシステムのようなアプローチが、AIが引き起こした深刻な知的財産危機の解決策となる可能性に期待を寄せています。巨大企業は現在、自社のAIモデルの中核を成すクリエイターたちと、熾烈な法廷闘争を繰り広げています。これらの企業はひたすら利益追求に徹しているため、こうした対立は根深いものがあり、たとえクリエイターに報酬を支払おうと努力したとしても、最終的には自社にとって最大の価値を獲得したいという企業側の要求に左右されてしまうでしょう。しかし、そのような貢献を認め、報いるという理念に基づいてゼロから構築されたモデルでは、こうした状況は避けられないでしょう。

「コンテンツ制作者の貢献を実際に評価する方法があれば、知的財産に関するこうした疑問はすべて解消されるでしょう」とウスコレイト氏は言う。「歴史上初めて、情報の価値を、少なくとも長期的に見て、人類にとってどれほどの価値を持つかを定量化できる機会が私たちにはあるのです。」

ユーザー所有のアプローチに関して、一つ疑問に思うのは、洗練された基盤モデルをゼロから開発するための資金がどこから調達されるのかということです。現在、Polosukhin氏のプラットフォームは、Meta氏のLlamaモデルのバージョンを利用しています。ただし、Polosukhin氏は懸念を抱いています。完全にオープンなモデルを作るために10億ドルもの資金を出してくれるのは誰でしょうか？政府でしょうか？それとも大規模なGoFundMeでしょうか？Uszkoreit氏は、トップクラスのすぐ下のテクノロジー企業が、競争相手を出し抜くためにこのモデルに乗り出すのではないかと推測しています。しかし、真相は明らかではありません。

しかし、ポロスキン氏とウスコレイト氏は共に、世界が汎用人工知能（AGP）に到達する前に、つまり超知能AIがAI自身を改良し始める前に、ユーザー所有のAIが登場しなければ、大惨事は避けられないと確信している。ウスコレイト氏は、そうなれば「我々は詰む」と述べている。彼とポロスキン氏は共に、AI科学者が自己改良できるほど賢い知能を生み出すのは避けられないと考えている。現状が続けば、それはおそらく大手テクノロジー企業になるだろう。「そうなると、暴走効果が生じ、突如として少数の企業、あるいは最初にそれを手に入れた企業が、最終的に経済を停滞させるゼロサムゲームを生み出す、いわば金儲けの機械を手に入れることになる。これは決して許してはならないことだ」

ポロスキン氏は、最悪のシナリオを想定した時、AIのレベルアップにおける自身の役割について考え直すことがあるのだろうか？実際にはそうではない。「どんなブレークスルーが起こったとしても、それは私たちがいてもいなくても、あるいは別の時期に起こっていたかもしれない」と彼は言う。「私たちが進化し続けるためには、異なる構造が必要であり、私はまさにそれを目指しています。ユーザー所有のAIが存在すれば、競争の場が平等になり、OpenAIやGoogleなどの企業は独占企業にはなれません。彼らは同じゲームを、同じ土俵で戦うことになるからです。リスクと機会が均衡するのです。」これを変革的と呼ぶこともできるかもしれない。

タイムトラベル

今年初め、私は「Attention Is All You Need（必要なのは注意だけ）」論文の著者たちがトランスフォーマーを発明した経緯について書きました。この画期的な発明は、生成型AIムーブメントの火付け役となりました。ポロスキン氏とウスコライト氏による一見偶然の会話は、後にGoogleを去った8人の運命のGoogle社員たちの歴史的な偉業の鍵となる瞬間でした。

2016年のある日、ウスコレイトはGoogleのカフェでイリア・ポロスキンという科学者と昼食をとっていた。ウクライナ生まれのポロスキンはGoogleに3年近く在籍していた。彼は検索フィールドに投げかけられた直接的な質問に答えるチームに配属されたが、状況は必ずしも順調ではなかった。「Google.comで質問に答えるには、非常に安価で高性能なものが必要なんです」とポロスキンは言う。「なぜなら、回答には数ミリ秒しか時間がないからです」。ポロスキンが不満を漏らすと、ウスコレイトは難なく解決策を思いついた。「彼は、セルフアテンションを使ったらどうかと提案したんです」とポロスキンは言う。

ポロスキンは時折、アシシュ・ヴァスワニという同僚と共同研究を行っていた。インド生まれで、主に中東で育った彼は、南カリフォルニア大学に進学し、同校の精鋭機械翻訳グループで博士号を取得した。その後、マウンテンビューに移り、Google、それも比較的新しい組織であるGoogle Brainに加わった。彼はBrainを「ニューラルネットワークが人間の理解を進歩させる」と信じる「急進的なグループ」と表現している。しかし、彼はまだ大きなプロジェクトを探していた。1945年当時、彼のチームはポロスキンの言語チームの隣にある1965号棟で働いており、そこで彼は自己注意のアイデアについて耳にした。それがまさにそのプロジェクトなのだろうか？彼はそれに取り組むことに同意した。

3人の研究者は協力して、「トランスフォーマー：様々なタスクのための反復的な自己注意と処理」という設計書を作成した。ウスコレイト氏によると、「トランスフォーマー」という名前は「ゼロの日」にちなんで付けられたという。このメカニズムは取り込んだ情報を変換することで、システムが人間と同程度の理解を得られる、あるいは少なくとも人間と同等の理解を得られるようになる、というアイデアだった。ウスコレイト氏には、ハズブロのアクションフィギュアで遊んだ幼少期の楽しい思い出もあった。「幼い頃、小さなトランスフォーマーのおもちゃを2つ持っていました」と彼は言う。設計書は、山岳地帯で6体のトランスフォーマーが互いにレーザーを照射し合う漫画風の画像で締めくくられている。また、論文の冒頭の「私たちは素晴らしい」という一文には、どこか威勢のいい雰囲気が漂っていた。

記事全文はここでお読みいただけます。

一つだけ聞いてください

ディリープはこう問いかけます。「学生は利用可能なAIツールを最大限に活用するにはどうすればいいでしょうか？また、教授陣は学生にその使い方を最も効果的に教えるにはどうすればよいでしょうか？私はChatGPTのようなツールを学生の学習に役立てるよう推奨しています。しかし、学生たちはChatGPTを使ったことが誰の目にも明らかな場所でそれを使用しています。」

ディリープさん、ご質問ありがとうございます。また、背景を教えていただきありがとうございました。おっしゃっていたように、移民家庭出身の生徒が多く、学費を稼ぐために働いている学校で教えているそうですね。生成AIを適切な仕事への近道として使うことが、あなたが言うように生徒に「有利になる」ことになっているのか、それとも生徒が本物のスキルを習得したという誤った印象を与えているのか、という問題に悩んでいるようですね。

ChatGPTを情報収集タスク、例えばあるテーマの全体像を提示したり、長文を要約したりする用途に使うことは、さほど議論の余地がないように思えるので、ここでは置いておこう。（しかしながら、実際に情報源と直接やり取りすることで、より深い理解が得られ、長期的には報われると私は言いたい。）現代における問題は、学生が課題を作成するために生成AIにどの程度依存すべきかということだ。ある意味では、これは電卓を使って数学の問題を解くのはカンニング行為かどうかという古くからの議論の繰り返しだ。反論としては、現実世界ではもはや紙の上で計算する必要はないのに、そうではないと装うのは馬鹿げているというものだ。後者のアプローチが勝利を収めた。

しかし、調査と論理に基づいてエッセイを書くとなると話は別です。自分の調査を整理し、それを論証として提示することは、経験的に考える力を鍛える効果的な方法です。説得力のある文章を書くには、懐疑的な読者の視点を考慮し、証拠に裏付けられた論証を簡潔かつ力強く提示することが求められます。このスキルを習得することで、自身の思考力が磨かれます。ChatGPTなどのツールは、あたかもLLMが散文用の計算機であるかのように、最終的にはエッセイを書く必要性をなくしてしまうかもしれない、という主張もできます。しかし、重要なのは、教師に読んでもらうための大量の言葉を提供することではなく、論理的かつ共感的に考える力を鍛えるプロセスを、自らが苦労して経験することです。

つまり、問題はChatGPTエッセイが凡庸なことではありません。たとえ成果が素晴らしいものだったとしても、この近道に教育的価値はほとんどないという事実は変わりません。生徒たちが社会で「優位に立つ」ためには、証拠を整理し、論理を習得し、思考を首尾一貫して表現するという困難な作業に取り組まなければなりません。これは、職場やそれ以降のあらゆる場面で役立つでしょう。生徒の中には、これは本当に難しい人もいるでしょう。私はかつて州立学校で新入生の作文を教えていましたが、それがどれほど難しいかを目の当たりにしてきました。また、ChatGPTという魔法のような新しい道具を捨てるよう説得するのは、あなたにとっても非常に難しいでしょう。しかし、その見返りは必ずや得られるはずです。

ご質問は[email protected]までお送りください。件名に「ASK LEVY」とご記入ください。