世界最速スーパーコンピュータがAI記録を更新

アメリカ西海岸では、世界有数の企業価値を誇る企業が、人工知能（AI）の高度化にしのぎを削っている。GoogleとFacebookは、数十億枚の写真と数千台の高性能プロセッサを用いた実験を誇ってきた。しかし昨年末、テネシー州東部で、あるプロジェクトがひっそりと、どの企業のAIラボの規模も凌駕する規模にまで達した。それは米国政府が運営していたものだった。

この記録樹立プロジェクトには、オークリッジ国立研究所にある世界最高性能のスーパーコンピューター「Summit」が参加しました。このマシンは昨年6月にその座を獲得し、5年間中国がトップだった後、米国にその座を奪還しました。気候研究プロジェクトの一環として、この巨大コンピューターは、これまでで最も高速に動作する機械学習実験を起動しました。

テニスコート2面分の広さを誇るSummitは、このプロジェクトで2万7000台以上の高性能グラフィックプロセッサを使用しました。これらのプロセッサは、AIの最先端技術であるディープラーニングアルゴリズムの学習に活用され、スーパーコンピュータ業界ではエクサフロップスと呼ばれる毎秒10兆回の演算速度で処理されました。

「ディープラーニングがこれほどの性能レベルにまでスケールアップされたことはかつてありませんでした」と、ローレンス・バークレー国立研究所の国立エネルギー研究科学計算センターで研究グループを率いるプラバート氏は語る（彼は一つの名前で呼ばれている）。彼のグループは、サミットの本拠地であるオークリッジ国立研究所の研究者と共同研究を行っていた。

まさにその通り、世界最強のコンピューターのAIトレーニングは、世界最大の課題の一つである気候変動に焦点を当てていました。テクノロジー企業は顔や道路標識を認識するアルゴリズムを訓練し、政府の科学者たちは、地球の大気圏の3時間予報を1世紀分も生み出す膨大な気候シミュレーションから、サイクロンなどの気象パターンを検知できるようにアルゴリズムを訓練しました。（このプロジェクトがどれだけの電力を消費し、どれだけの二酸化炭素を大気中に排出したかは不明です。）

サミット実験は、AIと気候科学の両方の未来に影響を与えます。このプロジェクトは、従来は核爆発、ブラックホール、新素材といった物理的・化学的プロセスをシミュレーションしてきたスーパーコンピューターにディープラーニングを応用することの科学的可能性を示しています。また、機械学習は（もしそれが可能であれば）より多くの計算能力から恩恵を受けることができることも示しており、将来のブレークスルーへの明るい兆しとなっています。

「実際にやってみるまで、これほどの規模で実現できるとは思っていませんでした」と、Googleのエンジニアリングディレクター、ラジャット・モンガ氏は語る。モンガ氏をはじめとするGoogle社員は、同社のオープンソース機械学習ソフトウェア「TensorFlow」をSummitの巨大なスケールに適合させることで、このプロジェクトを支援した。

ディープラーニングのスケールアップに関する研究のほとんどは、インターネット企業のデータセンター内で行われてきました。そこでは、サーバーが比較的緩やかに接続されており、1台の巨大なコンピューターに縛られていないため、複数のサーバーが問題を分割して連携して処理しています。一方、Summitのようなスーパーコンピューターは異なるアーキテクチャを採用しており、数千個のプロセッサーを専用の高速接続で単一のシステムに接続し、全体として動作させることができます。最近まで、機械学習をこの種のハードウェアに適応させる研究は比較的少なかったのです。

モンガ氏は、TensorFlowをSummitの規模に適合させる取り組みは、Googleの社内AIシステムの拡張にも役立つだろうと述べています。NVIDIAのエンジニアもこのプロジェクトに協力し、マシンに搭載された数万基のNVIDIAグラフィックプロセッサがスムーズに連携することを確認しました。

ディープラーニングアルゴリズムにさらなる計算能力を投入する方法の発見は、この技術の近年の発展において大きな役割を果たしてきました。Siriが音声認識に使用し、Waymoの車両が道路標識を読み取るために使用する技術は、研究者がNVIDIAのグラフィックプロセッサ上で動作するように適応させたことで、2012年に爆発的に普及しました。

イーロン・マスク氏が共同設立したサンフランシスコの研究機関OpenAIの研究者らは、昨年5月に発表した分析で、公開されている最大規模の機械学習実験における計算能力は2012年以降、約3.43ヶ月ごとに倍増していると算出しました。これは、毎年11倍の増加に相当します。この増加は、Googleの親会社Alphabetのボットが難解なボードゲームやビデオゲームでチャンピオンに勝利するのに役立ち、Googleの翻訳サービスの精度を大幅に向上させました。

Googleをはじめとする企業は現在、このトレンドを継続させるため、AI向けにカスタマイズされた新しい種類のチップを開発している。Googleによると、1,000個のAIチップ（テンソル・プロセッシング・ユニット、TPU）を緊密に統合した「ポッド」は、100ペタフロップスの演算能力を提供できるという。これは、SummitがAI実験で達成した速度の10分の1に相当する。

サミット・プロジェクトの気候科学への貢献は、巨大AIが将来の気象パターンに対する理解をいかに向上させることができるかを示すことです。研究者が1世紀にわたる気候予測を作成する場合、その結果を読み解くのは容易ではありません。「100年間再生されるYouTube動画があると想像してみてください。そこに映っている猫や犬をすべて手作業で見つけることは不可能です」と、ローレンス・バークレーのプラバート氏は言います。このプロセスを自動化するために一般的に使用されるソフトウェアは不完全だと彼は言います。サミットの成果は、機械学習がより優れた方法で実行できることを示しており、洪水や物理的被害などの暴風雨の影響を予測するのに役立つはずです。サミットの成果により、オークリッジ、ローレンス・バークレー、そしてNVIDIAの研究者は、スーパーコンピューティングの限界を押し広げた研究に対してゴードン・ベル賞を受賞しました。

カリフォルニア大学アーバイン校のマイケル・プリチャード教授は、スーパーコンピューターでディープラーニングを実行するという新しいアイデアは、気候研究者にとって絶好のタイミングで登場したと述べている。従来型プロセッサーの改良ペースが鈍化したため、エンジニアたちはスーパーコンピューターにグラフィックチップをますます多く搭載するようになり、その結果、パフォーマンスはより安定的に向上した。「通常の方法では計算能力を増強し続けることができなくなった」とプリチャード教授は語る。

この変化は従来のシミュレーションにいくつかの課題をもたらし、適応を迫られました。同時に、グラフィックチップに最適なディープラーニングの力を活用する道も開かれました。これにより、気候の未来をより明確に予測できるようになるかもしれません。プリチャード氏のグループは昨年、ディープラーニングによって気候予報においてよりリアルな雲のシミュレーションを生成できることを示しました。これにより、降雨パターンの変化の予測精度が向上する可能性があります。

WIREDのその他の素晴らしい記事