新しいチップクラスターが大規模なAIモデルを可能にする

今日の人工知能を支えるニューラルネットワークに関して言えば、規模が大きければ大きいほど、より賢くなるという側面もあります。例えば、近年の機械による言語理解の飛躍的進歩は、史上最大級のAIモデルを構築し、そこに膨大な量のテキストを詰め込むことにかかっていました。新たなコンピューターチップクラスターは、これらのネットワークをほぼ想像を絶する規模まで拡張できるようになり、さらに大規模化することで、言語理解だけでなく、ロボット工学やコンピュータービジョンなどの分野でも、AIのさらなる進歩が実現するかどうかを示すものとなるでしょう。

すでに世界最大のコンピュータチップを製造しているスタートアップ企業、セレブラス・システムズが、現在存在する最も巨大なAIモデルよりも100倍以上も大きいチップのクラスターでAIモデルを実行できる技術を開発した。

セレブラス社は、120兆個の接続を持つニューラルネットワーク（生物学的ニューロンとシナプスの相互作用を数学的にシミュレーションしたもの）を実行できるようになったと述べている。現在存在する最大のAIモデルは約1兆個の接続を持ち、構築と訓練には数百万ドルの費用がかかる。しかし、セレブラス社によると、同社のハードウェアは既存のハードウェアの約50分の1の時間で計算を実行できるという。チップクラスター、電力、冷却要件は依然として安価ではないと思われるが、少なくとも同社の技術は大幅に効率化されると主張している。

「合成パラメータを使って構築しました」と、今週開催されるチップカンファレンスでこの技術の詳細を発表するセレブラスの創業者兼CEO、アンドリュー・フェルドマン氏は語る。「ですから、実現できることは分かっていますが、まだモデルの学習はしていません。私たちはインフラ構築者であり、その規模のモデルはまだ存在しないのです」と彼は付け加えた。

現在、ほとんどのAIプログラムはGPUを用いて学習されています。GPUは元々はコンピュータグラフィックスを生成するために設計されたチップの一種ですが、ニューラルネットワークに必要な並列処理にも適しています。大規模なAIモデルは、基本的に数十から数百のGPUに分割され、高速配線で接続されています。

GPUはAIにとって依然として理にかなっています。しかし、モデルが大規模になり、企業が優位性を求めるようになると、より特化した設計がニッチな分野を見つける可能性があります。近年の進歩と商業的な関心により、AIに特化した新しいチップ設計においてカンブリア爆発が引き起こされています。Cerebrasチップは、こうした進化における興味深い一例です。通常の半導体設計者はウェハーを分割して個々のチップを作りますが、Cerebrasはウェハー全体を使用することで、多数の計算ユニット（コア）がより効率的に相互に通信し、はるかに高い計算能力を実現します。GPUには通常数百個のコアが搭載されていますが、Cerebrasの最新チップであるWafer Scale Engine Two（WSE-2）には、85万個のコアが搭載されています。

この設計は、多数のGPUを配線で繋ぎ合わせたよりも効率的に、大規模なニューラルネットワークを実行できます。しかし、チップの製造と動作には課題があり、シリコンのエッチングに新たな手法、製造上の欠陥を考慮した冗長性を備えた設計、そして巨大なチップを冷却するための新たな水システムが必要になります。

記録的な規模のAIモデルを実行できるWSE-2チップのクラスターを構築するため、セレブラスはもう一つの技術的課題を解決する必要がありました。それは、チップへのデータの効率的な入出力です。通常のチップは独自のメモリを搭載していますが、セレブラスはMemoryXと呼ばれるオフチップメモリボックスを開発しました。また、ニューラルネットワークの一部をこのオフチップメモリに保存し、計算処理のみをシリコンチップに転送できるソフトウェアも開発しました。さらに、これら全てを連携させるSwarmXと呼ばれるハードウェアとソフトウェアのシステムも構築しました。

「彼らは、現在誰も成し遂げていないほど、トレーニングのスケーラビリティを巨大な次元にまで向上させることができます」と、リンリー・グループのシニアアナリストであり、マイクロプロセッサ・レポートのシニアエディターでもあるマイク・デムラー氏は言う。

デムラー氏は、このクラスターの市場規模がどの程度になるかはまだ不透明だと述べています。特に、一部の潜在顧客が既に自社でより特殊なチップを設計しているためです。さらに、このチップの速度、効率、コストといった実際の性能はまだ不明だと付け加えています。セレブラスは今のところベンチマーク結果を公表していません。

「新しいMemoryXとSwarmXテクノロジーには、非常に優れたエンジニアリングが盛り込まれています」とデムラー氏は語る。「しかし、プロセッサと同様に、これは高度に専門化された技術であり、非常に大規模なモデルのトレーニングにのみ意味を持ちます。」

セレブラスのチップは、スーパーコンピューティング能力を必要とする研究機関に採用されている。初期の顧客には、アルゴンヌ国立研究所、ローレンス・リバモア国立研究所、グラクソ・スミスクラインやアストラゼネカなどの製薬会社、そしてフェルドマン氏が「軍事情報」と呼ぶ組織などが含まれる。

これは、Cerebrasチップがニューラルネットワークの駆動だけにとどまらない用途に使用できることを示しています。これらの研究室で実行される計算には、同様に大規模な並列数学演算が含まれています。「そして、彼らは常にさらなる計算能力を渇望しています」とデムラー氏は述べ、このチップがスーパーコンピューティングの未来にとって重要なものになる可能性があると付け加えています。

リアルワールドテクノロジーズのアナリストであり、様々なAIアルゴリズムとハードウェアの性能を測定する組織であるMLCommonsのエグゼクティブディレクターを務めるデイビッド・カンター氏は、将来的にははるかに大規模なAIモデルの市場が生まれると見ている。「私は一般的にデータ中心のML（機械学習）を信じているため、より多くのパラメータを持つより大規模なモデルを構築できる、より大きなデータセットが必要です」とカンター氏は語る。

フェルドマン氏によると、セレブラスは大規模自然言語処理AIアルゴリズムという新興市場をターゲットに事業を拡大する計画だ。同社はサンフランシスコに拠点を置くOpenAIのエンジニアと協議を重ねているという。OpenAIは、言語学習、ロボット工学、ゲームプレイといった分野における大規模ニューラルネットワークの活用を先駆的に進めてきた企業だ。

OpenAIの最新アルゴリズム「GPT-3」は、驚くほど説得力のある方法で言語を処理できます。特定のトピックに関するニュース記事を作成したり、コンテンツを首尾一貫して要約したり、さらにはコンピューターコードを作成したりすることも可能です。ただし、誤解や誤情報、そして時折女性蔑視的な表現が見られることも少なくありません。GPT-3を支えるニューラルネットワークには、約1600億個のパラメータがあります。

「OpenAIと話をしたところによると、GPT-4は約100兆個のパラメータを持つとのことです」とフェルドマン氏は言う。「完成までには数年かかるでしょう。」

OpenAIはAPIを通じて開発者やスタートアップ企業にGPT-3へのアクセスを提供しているが、同様の言語ツールを開発するスタートアップ企業との競争激化に直面している。OpenAIの創業者の一人であるサム・アルトマン氏は、セレブラスの投資家でもある。「現在のハードウェアでもっと進歩できると確信しています」とアルトマン氏は語る。「しかし、セレブラスのハードウェアがさらに高性能になれば素晴らしいでしょう。」

GPT-3と同じ規模のモデルを構築したところ、驚くべき結果が得られました。GPTの100倍の規模であれば、必ずしもより賢くなるのか（例えば、エラーが減ったり、常識をより深く理解したりするなど）という質問に対し、アルトマン氏は確信は持てないものの、「楽観的だ」と答えました。

こうした進歩は少なくとも数年先になるかもしれない。セレブラスは、より近い将来、十分な数の企業があらゆる種類のAIモデルを超大型化するように設計されたハードウェアの必要性を認識することを期待している。

WIREDのその他の素晴らしい記事