AIは英語で書ける。そして今、他の言語も学習中だ

近年、人工知能の進歩により、機械は英語のまともな断片を生成できるようになりました。そして今、機械は他の言語にも進出しつつあります。

ドイツ、ハイデルベルクのスタートアップ企業Aleph Alphaは、世界で最も強力なAI言語モデルの一つを構築しました。このアルゴリズムはヨーロッパ発祥であることから、英語だけでなく、ドイツ語、フランス語、スペイン語、イタリア語にも堪能です。

このアルゴリズムは、コンピューターが言語を真に理解しているかのように扱えるようになった近年の機械学習の進歩を基盤としています。ウェブの読み取りから学習した情報を活用することで、このアルゴリズムは特定の主題に関する一貫性のある記事を作成し、一般的な知識に関する質問にも説得力を持って答えることができます。

しかし、その回答は米国で開発された類似のプログラムとは異なる場合があります。歴史上最高のスポーツチームについて質問すると、Aleph Alphaは有名なドイツのサッカーチームを挙げます。米国製のモデルは、シカゴ・ブルズやニューヨーク・ヤンキースを挙げる可能性が高くなります。同じ質問をフランス語で入力すると、アルゴリズムが文化的視点を調整するため、有名なフランスのチームを挙げる可能性が高くなります。Aleph Alphaはバイリンガル対応として設計されているため、ある言語で質問すれば、別の言語で回答を得ることができます。

「これは変革をもたらすAIです」と、Aleph Alphaの創業者兼CEOで、かつてAppleでAI開発に携わっていたジョナス・アンドルリス氏は語る。「もしヨーロッパにこうしたシステムを構築する技術力がなければ、私たちはアメリカや中国製のもののユーザーでしかなくなるでしょう。」

機械に単語や文章の意味を理解させる学習は、数十年にわたりゆっくりと進歩してきましたが、機械学習は有望な進歩を遂げています。スタートアップ企業は、AIの言語スキルの向上から利益を得ようと躍起になっています。

米国のスタートアップ企業であるOpenAIは、2019年にGPT-2と呼ばれる強力なAI言語モデルを初めて公開しました。OpenAIは、より強力な新バージョンであるGPT-3を、APIを通じて一部のスタートアップ企業や研究者に提供しています。Cohereや、OpenAIの卒業生によって設立されたAnthropicなど、他の米国企業も同様のツールの開発に取り組んでいます。

現在、米国以外（中国、韓国、イスラエル、そしてドイツ）でも、汎用AI言語ツールの開発に取り組む企業がますます増えています。それぞれの取り組みには独自の技術的な工夫が凝らされていますが、いずれも機械学習の進歩という共通の基盤の上に成り立っています。

言語を効果的に使いこなすAIプログラムの台頭は、部分的には金銭的な利益に繋がっている。AIを基盤として、インテリジェントなメールアシスタント、有用なコンピュータコードを書くプログラム、マーケティングコピーを生成するシステムなど、様々なものが構築できる。

機械に言語を理解させることは、AIにおける長年の大きな課題でした。言語がこれほど強力なのは、単語や概念を組み合わせることで、事実上無限のアイデアや思考の世界を創造できるからです。しかし、単語の意味を解読することは、曖昧さが多々あるため、驚くほど困難になることもあります。言語のルールをすべてコンピュータープログラムに書き込むことは不可能です（試みた人もいますが）。

AI の最近の進歩により、機械は Web を読むだけで注目すべき言語スキルを習得できることがわかっています。

2018年、Googleの研究者たちは、自然言語理解に特化した強力な新しい大規模ニューラルネットワーク「Bidirectional Encoder Representations from Transformers（BERT）」の詳細を発表しました。これは、機械学習が言語理解に新たな進歩をもたらす可能性があることを示し、その可能性を探る取り組みを刺激しました。

1年後、OpenAIはGPT-2を実証しました。これは、非常に大規模な言語モデルにWeb上の膨大なテキストを入力させることで構築されました。これには膨大な計算能力（一部の推定では数百万ドル相当）と高度なエンジニアリングスキルが必要とされますが、機械の理解を新たなレベルに引き上げるようです。GPT-2とその後継であるGPT-3は、特定の主題について、一貫性のある段落単位のテキストを生成することができます。

「こうした大規模言語モデルが驚くべきなのは、見つけられるものすべてを読み込むだけで、世界の仕組みについてどれだけ多くのことを知っているかということです」と、スタンフォード大学でAIと言語を専門とするクリス・マニング教授は言う。

しかし、GPTとその類似品は本質的に非常に有能な統計的オウムです。言語に見られる単語や文法のパターンを再現する方法を学習します。つまり、ナンセンス、極めて不正確な事実、そしてウェブの暗い隅からかき集めた憎悪的な言葉を、口走ってしまうのです。

エルサレム・ヘブライ大学のコンピュータサイエンス教授であるアムノン・シャシュア氏は、このアプローチに基づいたAIモデルを開発する別のスタートアップ企業の共同創業者です。彼はAIの商業化について熟知しており、前職のモービルアイ社は、AIを活用して自動車が道路上の物体を認識する技術のパイオニアでした。2017年には、この会社をインテル社に153億ドルで売却しています。

先週秘密裏に発表されたシャシュア氏の新会社「AI21 Labs」は、英語とヘブライ語の両方で驚異的な言語能力を発揮する「ジュラシック1」と呼ばれるAIアルゴリズムを開発した。

デモでは、Jurassic-1は与えられたテーマに関する段落テキストを生成したり、ブログ記事のキャッチーな見出しを考え出したり、簡単なコンピュータコードを書いたりするなど、様々な機能を備えています。シャシュア氏によると、このモデルはGPT-3よりも洗練されており、Jurassicの将来のバージョンでは、収集した情報から世界に関するある種の常識的な理解を構築できるようになる可能性があるとのことです。

GPT-3を再現しようとする他の取り組みは、世界、そしてインターネットの言語の多様性を反映しています。4月には、中国のテクノロジー大手ファーウェイの研究者が、GPTに似た中国語言語モデル「PanGu-alpha」（PanGu-αと表記）の詳細を発表しました。5月には、韓国の検索大手ネイバーが、韓国語を「話す」独自の言語モデル「HyperCLOVA」を開発したと発表しました。

清華大学の教授であるJie Tang氏は、北京人工知能研究院のチームを率いており、政府と業界の支援を受けて「悟り」を意味する「Wudao」と呼ばれる別の中国語言語モデルを開発した。

Wudaoモデルは他のどのモデルよりもかなり大規模であり、シミュレートされたニューラルネットワークがより多くのクラウドコンピューターに分散されていることを意味します。ニューラルネットワークの規模の拡大は、GPT-2とGPT-3の性能向上の鍵となりました。Wudaoは画像とテキストの両方に対応しており、タン氏は商用化のために会社を設立しました。「これはあらゆるAIの礎となると信じています」とタン氏は言います。

このような熱意は、これらの新しい AI プログラムの能力によって正当化されているように思われますが、そのような言語モデルを商用化するための競争は、ガードレールを追加したり誤用を制限したりする取り組みよりも速く進む可能性もあります。

AI言語モデルに関する最も切実な懸念は、おそらくその悪用の可能性でしょう。モデルは特定のテーマについて説得力のあるテキストを大量に生成できるため、偽のレビュー、スパム、フェイクニュースの作成に容易に利用される可能性があると懸念する人もいます。

「偽情報の工作員が、少なくともこうしたモデルの実験に真剣に取り組まないとしたら驚きだ」と、言語モデルが偽情報を拡散する可能性を研究しているジョージタウン大学の研究アナリスト、ミカ・マッサー氏は言う。

マッサー氏は、AIが生成した偽情報をAIで見抜くことは不可能だと研究結果が示唆していると述べています。ツイートには、それが機械によって書かれたものかどうかを機械が判断できるほど十分な情報が含まれていない可能性が高いのです。

これらの巨大な言語モデルには、より問題のある種類のバイアスも潜んでいる可能性があります。研究によると、中国のインターネットコンテンツで学習した言語モデルは、そのコンテンツを形作った検閲を反映することが示されています。また、これらのプログラムは、ヘイト的な発言や思想を含む、人種、性別、年齢に関する微妙な、あるいは明白なバイアスを、言語処理によって取り込んで再現してしまうのです。

同様に、これらの大規模言語モデルは驚くべき、あるいは予期せぬ形で失敗する可能性があると、スタンフォード大学の別のコンピューターサイエンス教授であり、GPT-3のような強力な汎用AIモデルの可能性を研究する新しいセンターの主任研究者であるパー​​シー・リャン氏は付け加える。

リャン氏の研究センターの研究者たちは、これらのモデルが実際にどのように機能し、どのように失敗する可能性があるのか​​をより深く理解するために、独自の大規模言語モデルを開発している。「GPT-3が実現できる驚くべきことの多くは、設計者自身でさえ予想していなかったことです」と彼は言う。

これらのモデルを開発している企業は、モデルにアクセスできるユーザーを審査することを約束しています。シャシュア氏によると、AI21はモデルの利用を審査するための倫理委員会を設置する予定です。しかし、ツールが普及し、よりアクセスしやすくなるにつれて、すべての誤用が摘発されるかどうかは不透明です。

GPT-3のオープンソース競合モデル「Eleuther」を開発したAI研究者、ステラ・ビダーマン氏は、GPT-3のようなAIモデルを複製することは技術的にそれほど難しくないと述べています。数百万ドルの資金と機械学習の学位を持つ人材が数人いれば、強力な言語モデルを作成するハードルは下がりつつあります。Amazon Web Servicesなどのクラウドコンピューティングプラットフォームは、十分な資金があれば誰でも、GPT-3のような規模のニューラルネットワークを容易に構築できるツールを提供しています。

清華大学のタン氏は、事実のデータベースを活用してモデルをより確かなものにするよう設計している。しかし、それだけでモデルの誤動作が起こらないと確信しているわけではない。「本当に分かりません」とタン氏は言う。「これは私たちにとって、そしてこうした大規模モデルに取り組んでいるすべての人にとって、大きな問題です。」

2021年8月23日午後4時10分更新：この記事は、アムノン・シャシュア氏のスタートアップ企業の名前をAI21からAI21 Labsに訂正し、そのAIモデルを「バイリンガル」と誤って説明した記述を削除しました。

WIREDのその他の素晴らしい記事

• 📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
• 黒人ツイッターの民衆史
• 広告代理店が大手石油会社の顧客から離脱するよう圧力
• バーチャルリアリティで、新しい場所でも古い場所でもどこへでも旅行できます
• AIが私にちょっかいを出しているような気がします。私もちょっかいを出しても大丈夫ですか？
• 最初の火星掘削の試みが失敗に終わった理由
• 👁️ 新しいデータベースで、これまでにないAIを探索しましょう
• 🎮 WIRED Games: 最新のヒントやレビューなどを入手
• 💻 Gearチームのお気に入りのノートパソコン、キーボード、タイピングの代替品、ノイズキャンセリングヘッドホンで仕事の効率をアップさせましょう