8人のGoogle社員が現代のAIを発明した。その裏話はこちら

2017年春に執筆された科学論文「Attention Is All You Need（必要なのは注目だけ）」には、著者として8人の名前が記載されている。全員がGoogleの研究者だったが、当時1人は既に同社を退職していた。最年長の寄稿者であるノーム・シャジール氏は、初期の草稿を見て、自分の名前が最初に記載されていたことに驚いた。これは彼の貢献が最重要だったことを示唆している。「そんなことは考えていませんでした」と彼は言う。

名前の載せ方を決めるのは常に繊細なバランス感覚が求められる作業だ。誰が切望されるリーダーの座に就き、誰が後回しにされるのか。特に今回のように、真の共同作業の中で各参加者が明確な足跡を残した場合はなおさらだ。研究者たちは論文の仕上げを急ぐ中で、最終的に貢献者の順位付けという慣例を「破壊」することに決めた。彼らは各名前にアスタリスクを付け、脚注に「同等の貢献者。掲載順はランダムです」と記した。執筆者たちは締め切り直前に、権威ある人工知能会議に論文を提出した。そして、革命の火蓋が切られた。

発表から7周年を迎えようとしている「Attention」論文は、伝説的な地位を獲得している。著者らは、発展し進化を続ける技術、いわゆるニューラルネットワークと呼ばれるAIの一種から着手し、それを別のものへと進化させた。それは、その出力がまるで異星人の知性体の産物のように感じられるほど強力なデジタルシステムだ。トランスフォーマーと呼ばれるこのアーキテクチャは、ChatGPTやDall-E、Midjourneyといったグラフィックジェネレータなど、あの驚異的なAI製品の背後にある、それほど秘密ではないソースとなっている。Shazeer氏は今、もしこの論文がこれほど有名になると知っていたら、「著者の順番をもっと気にしていたかもしれない」と冗談を飛ばす。署名した8人全員が今やマイクロセレブリティだ。「論文に載っているから、セルフィーを撮ってほしいと頼まれるんです！」と、（もちろんランダムに）5番目に名前を挙げたLlion Jones氏は言う。

「トランスフォーマーがなければ、私たちは今ここにいないでしょう」と、著者ではないものの、おそらく世界で最も著名なAI科学者であるジェフリー・ヒントンは言う。彼が言及しているのは、OpenAIなどの企業が人間の成果に匹敵し、場合によってはそれを凌駕するシステムを構築している、私たちが生きているこの変革の時代だ。

8人の著者はその後、Googleを去った。他の何百万人もの人々と同様に、彼らは現在、2017年に自分たちが生み出したもので動くシステムに何らかの形で関わっている。私は「トランスフォーマー8」にインタビューを行い、画期的な進歩の仕組みを解明した。それは、人類の知恵を集め、最後の言葉を自らの手で残すかもしれない機械を創り出すことだった。

トランスフォーマーの物語は、8 つの名前のうちの 4 番目の人物、ヤコブ・ウスコライトから始まります。

ウスコライト氏は、著名な計算言語学者ハンス・ウスコライト氏の息子です。1960年代後半、高校生だったハンス氏は、ソ連のチェコスロバキア侵攻に抗議したため、母国東ドイツで15ヶ月間投獄されました。釈放後、西ドイツに脱出し、ベルリンでコンピュータと言語学を学びました。その後、アメリカに渡り、カリフォルニア州メンロパークにあるSRI研究所の人工知能研究室で働いていた際に、ヤコブ氏が生まれました。一家は最終的にドイツに戻り、ヤコブ氏は大学に進学しました。当初は言語学を専攻するつもりはありませんでしたが、大学院進学にあたり、グーグルのマウンテンビューオフィスでインターンシップを経験し、翻訳グループに配属されました。彼は家業を継ぐことになりました。彼は博士課程への進学を断念し、2012年にGoogleのチームに参加することを決意した。そのチームは、ユーザーの質問に他のウェブサイトに誘導することなく、検索ページ上で直接回答できるシステムの開発に取り組んでいた。Appleが、日常会話で即座に回答を返すバーチャルアシスタント「Siri」を発表したばかりだった。Google幹部は、Siriが検索トラフィックを奪い取る可能性があるという、大きな競争上の脅威を感じ取った。彼らはウスコレイト氏の新しいグループに、より大きな注目を向け始めた。

「それは誤ったパニックでした」とウスコレイト氏は語る。SiriがGoogleを本当に脅かしたことは一度もなかった。しかし、彼はコンピューターが人間とある種の対話を行うシステムに飛び込む機会を歓迎していた。当時、かつては学問的な後進分野だったリカレントニューラルネットワークが、突如として他のAIエンジニアリング手法を凌駕し始めた。ネットワークは多層構造で、情報はそれらの層を何度も通過することで最適な応答を特定する。ニューラルネットワークは画像認識などの分野で大きな成果を上げており、AIルネサンスが突如として幕を開けた。Googleはこれらの技術を導入するため、必死に従業員の再編成を進めていた。同社は、電子メールの文章を自動補完したり、比較的シンプルなカスタマーサービス用チャットボットを作成したりといった、人間のような応答を大量に生成できるシステムを求めていた。

しかし、この分野には限界がありました。リカレントニューラルネットワークは、長いテキストの塊を解析するのに苦労していました。例えば、ジョーは野球選手で、しっかり朝食をとった後、公園に行って2本ヒットを打った、というような文章を考えてみましょう。「2本ヒット」を理解するには、言語モデルは野球の部分を覚えていなければなりません。人間で言うと、注意を払っている必要があるのです。受け入れられた解決策は「長短期記憶」（LSTM）と呼ばれるもので、言語モデルがより大きく複雑なテキストのシーケンスを処理できるようにした革新的な技術でした。しかし、コンピューターは依然としてこれらのシーケンスを厳密に順次（退屈な単語ごとに）処理し、文章の後の方に現れるかもしれない文脈の手がかりを見逃していました。「私たちが適用していた方法は、基本的にバンドエイドでした」とウスコレイトは言います。「適切なものを実際に大規模に機能させることができなかったのです。」

2014年頃、彼は「自己注意」と呼ぶ別のアプローチを考案し始めた。この種のネットワークは、文章の他の部分を参照することで単語を翻訳できる。これらの他の部分は単語の意図を明確にし、システムが適切な翻訳を生成するのに役立つ。「このネットワークは実際にあらゆるものを考慮し、多くの入力を同時に見て、その中からかなり選択的に何かを取り出す効率的な方法を提供します」と彼は言う。AI科学者はニューラルネットワークのメタファーを生物学的脳の実際の働きと混同しないように注意しているが、ウスコレイト氏は自己注意が人間の言語処理方法とある程度似ていると考えているようだ。

ウスコレイト氏は、自己注意モデルはリカレントニューラルネットワークよりも高速で効果的である可能性があると考えました。その情報処理方法は、機械学習ブームを支えるために大量生産されていた強力な並列処理チップにも最適でした。線形アプローチ（すべての単語を順番に見る）ではなく、より並列的なアプローチ（複数の単語をまとめて見る）を採用しています。ウスコレイト氏は、適切に実行すれば、自己注意のみを使用することでより良い結果が得られるのではないかと考えました。

このアイデアが世界を揺るがすとは、誰もが思っていたわけではありません。ウスコライト氏の父親も例外ではありません。息子がGoogleで働いていた時代に、彼はGoogle Faculty Research Awardを2つ受賞していました。「皆、眉をひそめました。既存のニューラルネットワークのアーキテクチャをすべて否定する内容だったからです」とヤコブ・ウスコライト氏は言います。リカレントニューラルネットに別れを告げる？異端です！「父と夕食の席で交わした会話から、必ずしも意見が一致していたわけではありませんでした」

ウスコレイトは数人の同僚を説得し、自己注意に関する実験を行いました。彼らの研究は有望な成果を示し、2016年に論文を発表しました。ウスコレイトは研究をさらに進めたいと考えていましたが（チームの実験ではほんのわずかなテキストしか使用していなかったため）、共同研究者の誰も興味を示しませんでした。代わりに、彼らはカジノでささやかな勝ち金を持って帰るギャンブラーのように、学んだ教訓を応用し始めました。「その実験はうまくいきました」と彼は言います。「その論文に携わった人々は、成果が得られることに興奮し、検索や最終的には広告など、Googleの様々な場所にそれを展開しました。多くの点で素晴​​らしい成功でしたが、私はそこで終わらせたくありませんでした。」

ウスコライトは、自己注意がはるかに大きな課題を担えると感じていた。「これを実現するには別の方法がある」と彼は、Googleキャンパスの北端、チャールストン通りの住所にちなんで名付けられた1945号棟のホワイトボードに自身のビジョンを描きながら、耳を傾ける人にも、耳を傾けない人にも主張した。

2016年のある日、ウスコレイトはGoogleのカフェでイリア・ポロスキンという科学者と昼食をとっていた。ウクライナ生まれのポロスキンはGoogleに3年近く在籍していた。彼は検索フィールドに投げかけられた直接的な質問に答えるチームに配属されたが、状況は必ずしも順調ではなかった。「Google.comで質問に答えるには、非常に安価で高性能なものが必要なんです」とポロスキンは言う。「なぜなら、回答には数ミリ秒しか時間がないからです」。ポロスキンが不満を漏らすと、ウスコレイトは難なく解決策を思いついた。「彼は、セルフアテンションを使ったらどうかと提案したんです」とポロスキンは言う。

ポロスキンは時折、アシシュ・ヴァスワニという同僚と共同研究を行っていた。インド生まれで、主に中東で育った彼は、南カリフォルニア大学に進学し、同校の精鋭機械翻訳グループで博士号を取得した。その後、マウンテンビューに移り、Google、それも比較的新しい組織であるGoogle Brainに加わった。彼はBrainを「ニューラルネットワークが人間の理解を進歩させる」と信じる「急進的なグループ」と表現している。しかし、彼はまだ大きなプロジェクトを探していた。1945年当時、彼のチームはポロスキンの言語チームの隣にある1965号棟で働いており、そこで彼は自己注意のアイデアについて耳にした。それがまさにそのプロジェクトなのだろうか？彼はそれに取り組むことに同意した。

3人の研究者は共同で、「トランスフォーマー：様々なタスクのための反復的な自己注意と処理」という設計書を作成した。ウスコレイト氏によると、「トランスフォーマー」という名前は「ゼロの日」にちなんで付けられたという。このメカニズムは取り込んだ情報を変換することで、システムが人間と同等の理解を得られる、あるいは少なくとも人間と同等の理解を得られるようになる、という構想だった。ウスコレイト氏には、ハズブロのアクションフィギュアで遊んだ幼少期の懐かしい思い出があった。「幼い頃、小さなトランスフォーマーのおもちゃを2つ持っていました」と彼は言う。設計書は、山岳地帯で6体のトランスフォーマーが互いにレーザーを照射し合う漫画風の絵で締めくくられている。

論文の冒頭の「私たちは素晴らしい」という一文にも、自信たっぷりの態度が感じられた。

2017年初頭、ポロスキン氏はGoogleを退社し、自身の会社を設立しました。その頃には、新たな協力者たちが加わり始めていました。ニキ・パーマーというインド人エンジニアは、インドでアメリカのソフトウェア企業に勤務していましたが、アメリカに移住しました。彼女は2015年に南カリフォルニア大学（USC）で修士号を取得し、大手IT企業から次々と採用されました。そしてGoogleを選びました。入社後、彼女はUszkoreitに加わり、Google検索を改善するためのモデルバリエーションの開発に取り組みました。

もう一人の新メンバーはリオン・ジョーンズだった。ウェールズで生まれ育った彼は、コンピューターが好きだった。「普通じゃなかったから」という。バーミンガム大学でAIのコースを受講し、当時歴史的な珍品として紹介されていたニューラルネットワークに興味を持った。2009年7月に修士号を取得したが、不況で仕事が見つからず、何ヶ月も失業手当で暮らしていた。地元企業に就職した後、思い切ってGoogleに応募した。そして採用され、最終的にGoogleリサーチに配属された。そこでは、ポロスキンがマネージャーを務めていた。ある日、ジョーンズは同僚のマット・ケルシーから自己注意の概念について聞き、後にチーム・トランスフォーマーズに加わった。（後にジョーンズはケルシーとばったり出会い、トランスフォーマー・プロジェクトについて説明した。ケルシーはそれを信じなかった。「『うまくいくかどうかわからない』と言ったのですが、それは私の人生で最大の誤った予測でした」とケルシーは今にして思う。）

トランスフォーマーの研究は、大規模言語モデルの改良に取り組んでいた他の Google Brain 研究者を引き寄せました。この第 3 波には、ポーランド生まれの理論計算機科学者である Łukasz Kaiser 氏と、彼のインターンの Aidan Gomez 氏がいました。Gomez 氏はカナダのオンタリオ州の小さな農村で育ち、毎年春に家族でカエデの木からシロップを採取していました。トロント大学 3 年生のとき、彼は AI に「恋に落ちて」、機械学習グループ (Geoffrey Hinton 氏の研究室) に参加しました。彼は、Google で興味深い論文を書いた人々に連絡を取り、彼らの研究を拡張するためのアイデアを出し始めました。Kaiser 氏はその誘いに食いつき、Gomez 氏をインターンに誘いました。数か月後、Gomez 氏はこれらのインターンが彼のような学部生ではなく博士課程の学生向けであることを知りました。

カイザーとゴメスはすぐに、セルフアテンションが彼らが取り組んでいる問題に対する有望で、より根本的な解決策になりそうだと理解した。「2つのプロジェクトを統合するかどうかについて、慎重に話し合いました」とゴメスは言う。そして答えはイエスだった。

Transformerチームは、ある言語から別の言語へのテキスト翻訳を目的とした自己注意モデルの構築に着手しました。彼らはBLEUと呼ばれるベンチマークを用いて、機械翻訳の出力と人間の翻訳者による翻訳結果を比較し、その性能を測定しました。当初から、彼らの新しいモデルは優れた性能を示しました。「概念実証は全く行われていなかった状態から、その時点でLSTMに代わる最良のアプローチと少なくとも同等の性能を持つモデルへと進化を遂げていました」とUszkoreit氏は言います。しかし、長短期記憶と比べると、「優れているとは言えませんでした」。

彼らは行き詰まっていた――2017年のある日、ノアム・シャジーアが偶然彼らのプロジェクトについて耳にする。シャジーアは2000年にグーグルに入社したベテラン社員で、初期の広告システムの開発から社内のレジェンド的存在だった。シャジーアは5年間ディープラーニングに取り組んでおり、最近は大規模言語モデルに興味を持つようになっていた。しかし、これらのモデルは、彼が実現可能だと信じていたようなスムーズな会話を生み出すには程遠かった。

シャジールの記憶によると、彼は1965号棟の廊下を歩いていて、カイザーの仕事場の前を通りかかった。すると、活気のある会話が聞こえてきた。「アシシュが自己注意を使うアイデアについて話していて、ニキがとても興奮していたのを覚えています。『わあ、それは素晴らしいアイデアだ。これは楽しくて賢い人たちが、将来有望なことをやっているようだ』と思いました」。シャジールは既存のリカレントニューラルネットワークに「イライラさせられる」と感じ、「さあ、置き換えよう！」と考えた。

シャジールのグループ参加は決定的だった。「自己注意のような理論的または直感的なメカニズムは、多くの場合、少数の経験豊富な『マジシャン』による非常に慎重な実装を必要とし、そうでないと、ほんの少しでも機能を発揮することはできません」とウスコライトは言う。シャジールはすぐに魔法を使い始めた。彼はトランスフォーマーチームのコードを自分なりに書き換えることにした。「基本的なアイデアはそのままに、自分で作り上げたのです」と彼は言う。時折カイザーに質問することもあったが、ほとんどの場合、「しばらく動作させてから戻ってきて、『ほら、動いているよ』と言った」という。後にチームメンバーが「魔法」「錬金術」「ベルとホイッスル」といった言葉で表現することになるものを駆使して、彼はシステムを新たなレベルへと引き上げた。

「それがスプリントの始まりでした」とゴメスは言う。彼らはやる気に満ち溢れ、迫りくる締め切りにも間に合わせようとしていた。5月19日とは、12月に開催される年間最大のAIイベント、ニューラル情報処理システム会議で発表する論文の提出期限だ。シリコンバレーの冬が春へと移り変わるにつれ、実験のペースも加速した。彼らは2種類のトランスフォーマーをテストした。1つは12時間のトレーニングで生成したもの、もう1つは3日半かけてトレーニングした「Big」と呼ばれるより強力なバージョンだ。そして、これらを英語からドイツ語への翻訳に取り組ませた。

基本モデルは全ての競合モデルを凌駕し、Bigは過去の記録を決定的に塗り替えるBLEUスコアを獲得した。同時に、計算​​効率も向上していた。「我々は誰よりも短い時間でこれを達成したのです」とパーマーは語る。「そして、それはほんの始まりに過ぎませんでした。数値は向上し続けたのですから」。これを聞いたウスコレイトは、山岳探検用のトラックに眠っていた古いシャンパンのボトルを取り出した。

締め切り前の最後の2週間はまさに狂乱の日々だった。公式にはチームの一部のメンバーはまだ1945号館に机を置いていたものの、ミニキッチンにもっと良いエスプレッソマシンがあったため、ほとんどのメンバーは1965号館で作業していた。「みんな寝ていませんでした」とゴメスは言う。インターンとして常にデバッグ作業に追われ、論文用の図もいくつか作成したゴメスは言う。こうしたプロジェクトでは、アブレーション（不要なものをすべて取り除き、残ったもので作業を完了できるかどうかを確認する作業）が一般的だ。

「トリックとモジュールのあらゆる組み合わせが考えられました。どれが役に立ち、どれが役に立たないのか。さあ、これを取り除いて、これに置き換えましょう」とゴメスは言う。「なぜモデルは直感に反する動作をするのだろう？ああ、マスキングをきちんと行うことを忘れていたからだ。うまくいきましたか？よし、次へ進みましょう。今私たちがトランスフォーマーと呼んでいるこれらのコンポーネントはすべて、この極めてハイペースで反復的な試行錯誤の成果です」。シェージールの実装に支えられたアブレーションは、「ミニマルなもの」を生み出したとジョーンズは言う。「ノアムは魔法使いです」

ヴァスワニは、チームが論文を執筆していたある夜、オフィスのソファに寝泊まりした時のことを思い出す。ソファと部屋の他の部分を隔てるカーテンを見つめていると、布地の模様が目に留まった。それはシナプスとニューロンのように見えた。ゴメスもそこにいて、ヴァスワニはゴメスに、自分たちが取り組んでいることは機械翻訳の域を超えるものだと告げた。「最終的には、人間の脳と同じように、音声、音響、視覚といったあらゆるモダリティを単一のアーキテクチャの下に統合する必要があります」と彼は言う。「もっと汎用的な何かに取り組んでいるという強い予感がしていました」

しかし、Googleの上層部では、この研究は単なる興味深いAIプロジェクトの一つとしか捉えられていなかった。私はトランスフォーマー研究に携わる数人に、上司からプロジェクトの進捗状況を聞くために呼び出されたことはあるかと尋ねてみた。それほど多くはなかった。しかし、「これは潜在的に非常に大きな出来事になる可能性があると理解していました」とウスコレイト氏は語る。「そして、論文の最後のほうにある、今後の研究についてコメントする一文に、私たちは本当に夢中になったのです」

この一文は、次に何が来るかを予見していました。つまり、トランスフォーマーモデルを人間の表現のほぼあらゆる形態に適用することです。「私たちはアテンションベースモデルの未来に期待しています」と彼らは書いています。「トランスフォーマーをテキスト以外の入出力様式の問題に拡張し、画像、音声、動画を研究する予定です」

締め切りの数日前、ウスコレイトはタイトルが必要だと気づいた。ジョーンズは、チームがLSTMをはじめとする既存のベストプラクティスを根本的に否定し、ある手法「Attention（注意）」を採用したと指摘した。ビートルズの曲に「All You Need Is Love（愛こそすべて）」というタイトルが付けられていたことをジョーンズは思い出した。論文のタイトルを「Attention Is All You Need（注意はすべて）」にするのはどうだろうか？

ビートルズ？

「私はイギリス人です」とジョーンズは言う。「文字通り5秒考えました。まさか彼らが使うとは思っていませんでした。」

彼らは締め切り直前まで実験結果の収集を続けた。「英仏の数字が届いたのは、論文提出の5分前くらいでした」とパーマーは語る。「1965年、私はミニキッチンに座って、最後の数字を入力していました」。残りわずか2分で、彼らは論文を提出した。

Googleは、ほぼすべてのテクノロジー企業と同様に、この成果について迅速に暫定特許を申請しました。これは、他者によるアイデアの利用を阻止するためではなく、防衛目的で特許ポートフォリオを構築するためでした。（同社は「技術が進歩すれば、Googleがその恩恵を受ける」という理念を持っています。）

トランスフォーマーチームが会議の査読者から返答を受けたとき、その反応は様々だった。「肯定的な意見が1人、非常に肯定的な意見が1人、そして『これでいい』という意見が1人」とパーマー氏は言う。論文は夕方のポスターセッションの一つに採択された。

12月になると、論文は大きな話題を呼びました。12月6日の4時間にわたるセッションは、さらに詳しく知りたい科学者たちで溢れかえっていました。著者たちは声が枯れるまで話しました。セッションが終了した午後10時半になっても、まだ人だかりができていました。「警備員に退出を命じられなければなりませんでした」とウスコライトは言います。彼にとっておそらく最も満足のいく瞬間は、コンピューター科学者のゼップ・ホッホライターが近づいてきて、論文を称賛してくれた時でした。ホッホライターは長短期記憶の共同発明者であり、トランスフォーマーによってAIツールキットの主力ハンマーとして登場したばかりだったことを考えると、これはかなりの賛辞でした。

トランスフォーマーは瞬く間に世界を制覇したわけではなく、Googleさえも制覇したわけではない。カイザーは、論文発表の頃、シャジーアがGoogle幹部に対し、検索インデックス全体を放棄し、巨大なネットワークをトランスフォーマーで訓練することを提案したと回想する。これは基本的に、Googleの情報整理方法を変革するというものだった。当時はカイザーですらそのアイデアを馬鹿げていると考えた。しかし今では、それは時間の問題というのが通説となっている。

OpenAIというスタートアップは、はるかに早く飛びつきました。論文が発表されて間もなく、OpenAIの主任研究員であるイリヤ・スツケヴァー氏（Google在籍時にTransformerチームと面識があった）は、同社の科学者の一人であるアレック・ラドフォード氏にこのアイデアの検討を提案しました。その結果が、最初のGPT製品です。OpenAIのCEO、サム・アルトマン氏が昨年私に語ったように、「Transformerの論文が発表されたとき、Googleでは誰もそれが何を意味するのか理解していなかったと思います」。

内部の状況はより複雑です。「トランスフォーマーが本当に魔法のようなことを実現できることは、私たちにとってかなり明白でした」とウスコレイト氏は言います。「では、なぜ2018年にGoogleのChatGPTがなかったのかと疑問に思うかもしれません。現実的に考えれば、GPT-3、あるいは3.5はおそらく2019年、あるいは2020年にはリリースできたはずです。重要なのは、彼らがそれを見ていたかどうかではなく、なぜ私たちがそれを見ていたという事実に基づいて何もしなかったのかということです。答えは難しいです。」

多くのテクノロジー批評家は、Googleがイノベーション中心の遊び場から利益重視の官僚主義へと移行したことを指摘しています。ゴメス氏がフィナンシャル・タイムズ紙に語ったように、「彼らは近代化していませんでした。この技術を採用していませんでした」。しかし、業界をリードする技術を持ち、数十年にわたって莫大な利益を上げてきた巨大企業にとって、それは相当な勇気が必要だったでしょう。Googleは2018年に翻訳ツールを皮切りに、トランスフォーマーを製品に統合し始めました。また同年には、BERTと呼ばれる新しいトランスフォーマーベースの言語モデルを導入し、翌年には検索にも適用し始めました。

しかし、こうした内部的な変更は、OpenAIの飛躍的な進歩や、MicrosoftによるTransformerベースのシステムを自社製品ラインに大胆に統合したことに比べれば、控えめに思える。昨年、CEOのサンダー・ピチャイ氏に、なぜGoogleがChatGPTのような大規模な言語モデルを最初にリリースしなかったのかと尋ねたところ、同氏は、このケースではGoogleは他社に先導させることが有利だと考えたのだと主張した。「それがうまくいったかどうかは、私には完全には分かりません。実際のところ、人々がその仕組みを目にした後で、私たちはもっと多くのことをできるはずです」と彼は述べた。

論文の著者8人全員がGoogleを去ったことは紛れもない事実である。Polosukhin氏の会社Nearは、トークンの時価総額が約40億ドルのブロックチェーンを構築した。Parmar氏とVaswani氏は2021年にビジネスパートナーとしてペアを組み、Adept（推定評価額10億ドル）を設立し、現在はEssential AI（資金調達額800万ドル）という2社目の会社を経営している。Llion Jones氏の東京を拠点とするSakana AIの評価額は2億ドル。2021年10月にGoogleを去ったShazeer氏は、Character AI（推定評価額50億ドル）の共同創業者である。同グループのインターンであるAidan Gomez氏は、2019年にトロントでCohere（推定評価額22億ドル）を共同設立した。Jakob Uszkoreit氏のバイオテクノロジー企業Inceptiveの評価額は3億ドルである。これらの企業（Nearを除く）はすべて、トランスフォーマー技術をベースとしている。

カイザー氏は、まだ会社を設立していない唯一の人物だ。彼はOpenAIに加わり、「Q*」と呼ばれる新技術の発明者の一人でもある。アルトマン氏は昨年、この技術は「無知のベールをはがし、発見のフロンティアを前進させる」と述べた。（インタビュー中にカイザー氏にこの点について質問しようとしたところ、OpenAIの広報担当者はテーブルを飛び越えて彼を黙らせようとした。）

Googleはこれらの脱退者を惜しんでいるだろうか？もちろん、同社から新しいAIスタートアップ企業に移った人々に加えて、彼らも惜しんでいるだろう。（ピチャイ氏に変革をもたらす人材の退社について尋ねたところ、業界の寵児であるOpenAIからも離脱者が出ていることを指摘し、「AI分野は非常にダイナミックです」と答えた。）しかし、Googleは型破りなアイデアの追求を支援する環境を自ら作り上げてきたことを誇りに思っている。「多くの点でGoogleははるかに先を進んでいました。適切な人材に投資し、私たちが探求し、限界に挑戦できる環境を作り上げてきたのです」とパーマー氏は言う。「それを受け入れるのに時間がかかったのも無理はありません。Googleにはもっと多くのものがかかっていたのです。」

この環境がなければ、変革は生まれなかったでしょう。著者たちは全員Google社員であるだけでなく、同じオフィスで働いていました。廊下での出会いや、昼食中に耳にした会話が、大きな出来事へと繋がりました。グループは文化的にも多様です。8人の著者のうち6人はアメリカ国外で生まれ、残りの2人は、カリフォルニアに一時的に滞在していたグリーンカード保持者のドイツ人2人と、迫害から逃れてきた一世アメリカ人の両親の子供です。

ベルリンのオフィスで講演するウスコライト氏は、イノベーションは適切な条件がすべてだと語る。「何かにとても夢中になり、人生の適切な時期にいる人たちを集めることです」と彼は言う。「もしそのような条件があり、楽しみながら取り組み、適切な問題に取り組んでいれば、そして幸運であれば、魔法のようなことが起こるのです。」

ウスコライト氏と彼の有名な父親の間にも、魔法のような出来事が起こりました。夕食の席での議論を経て、息子のハンス・ウスコライト氏は、大規模な言語モデルを構築する会社を共同設立したと、彼は報告しています。もちろん、トランスフォーマーを用いて。

この記事についてのご意見をお聞かせください。 [email protected]までお手紙をお送りください。

2024年3月21日午後10時（東部夏時間）に更新：この記事は、Alec Radford の名前のスペルを修正するために更新されました。

2024 年 3 月 25 日正午 (EST) に更新: この記事は、Aidan Gomez 氏の論文への貢献を明確にするために更新されました。