光ベースのチップはAIの増大するエネルギー需要を満たすのに役立つかもしれない

この物語 のオリジナル版はQuanta Magazineに掲載されました。

ムーアの法則は既にかなり速いペースで進んでいます。この法則によれば、コンピューターチップに搭載されるトランジスタ数は約2年ごとに倍増し、速度と効率が大幅に向上します。しかし、ディープラーニング時代のコンピューティング需要は、それよりもさらに速いペースで増加しており、そのペースはおそらく持続不可能です。国際エネルギー機関（IEA）は、2026年の人工知能（AI）の消費電力は2023年の10倍になり、その年のデータセンターの消費電力は日本と同程度になると予測しています。「AIに必要な（コンピューティングパワー）は3ヶ月ごとに倍増しています」と、コンピューティングハードウェア企業Lightmatterの創業者兼CEO、ニック・ハリス氏は述べています。これはムーアの法則の予測をはるかに上回る速さです。「企業や経済を破壊することになるでしょう。」

最も有望な前進の一つは、50年以上もコンピューティングを支配してきた信頼できる電子ではなく、微小な光の塊である光子の流れを用いて情報を処理することです。最近の研究結果は、現代の人工知能の基盤となる特定の計算タスクにおいて、光ベースの「光コンピュータ」が優位性を発揮する可能性があることを示唆しています。

ケンブリッジ大学の物理学者ナタリア・ベルロフ氏は、光コンピューティングの発展は「人工知能など、高速かつ高効率な処理を必要とする分野での飛躍的な進歩への道を開く」と述べた。

最適な光学

理論上、光には魅力的な潜在的利点があります。例えば、光信号は電気信号よりも多くの情報を伝送でき、帯域幅が広いからです。また、光周波数は電気信号よりもはるかに高いため、光学システムはより多くの計算ステップをより短時間で、より少ない遅延で実行できます。

そして、効率の問題もあります。比較的無駄の多い電子チップは環境面と経済面でのコストがかかるだけでなく、非常に高温になるため、あらゆるコンピューターの心臓部である小さなスイッチであるトランジスタのごく一部しか常時作動できません。光コンピューターは理論上、より多くの演算を同時に実行し、より少ないエネルギーでより多くのデータを処理できます。「これらの利点を活用できれば」とスタンフォード大学の電気工学者ゴードン・ウェッツスタイン氏は述べ、「多くの新たな可能性が開かれるでしょう」と続けました。

研究者たちは、その潜在的な利点に着目し、長年にわたり、膨大な計算量を必要とするAI分野に光を活用しようと試みてきました。例えば1980年代と1990年代には、研究者たちは光学システムを用いて、初期のニューラルネットワークのいくつかを構築しました。カリフォルニア工科大学のデメトリ・プサルティス氏と2人の同僚は、こうした初期の光ニューラルネットワーク（ONN）の一つを用いて、巧妙な顔認識システムを開発しました。彼らは、被験者（実際には研究者の一人）の画像を、光屈折結晶にホログラムとして保存しました。研究者たちはこのホログラムを用いてONNを学習させ、ONNは研究者の新しい画像を認識し、同僚と区別できるようになりました。

しかし、光にも欠点はあります。重要なのは、光子は一般的に相互作用しないため、ある入力信号で別の信号を制御することが難しいことです。これは、通常のトランジスタの本質的な機能です。トランジスタは非常に優れた動作をします。数十年にわたる漸進的な改良の成果として、現在ではコインサイズのチップに数十億個も集積されています。

しかし近年、研究者たちは光コンピューティングのキラーアプリケーションである行列乗算を発見しました。

ちょっとした数学

行列、つまり数値の配列を掛け合わせる処理は、多くの高負荷コンピューティングの基盤となっています。特にニューラルネットワークにおいては、行列の掛け合わせは、ネットワークを古いデータで学習させる方法と、学習済みのネットワークで新しいデータを処理する方法の両方において、基本的なステップです。そして、光は電気よりも行列の掛け合わせに適した媒体かもしれません。

AI計算へのこのアプローチは、マサチューセッツ工科大学のダーク・エングルンドとマリン・ソルジャチッチが率いるグループがシリコンチップ上に構築する光ニューラルネットワークの作り方を説明した2017年に爆発的に普及しました。研究者たちは、乗算したい様々な量を光線にエンコードし、その光線を一連の部品に通して光線の位相（光波の振動の仕方）を変化させました。位相の変化はそれぞれ乗算のステップを表します。光線を繰り返し分割し、位相を変え、再結合することで、光は効果的に行列乗算を実行できるようになりました。チップの端には、光線を測定して結果を明らかにする光検出器を配置しました。

研究者たちは、ニューラルネットワークの一般的なベンチマークタスクである音声母音の認識を実験装置に学習させた。光の利点を活かし、装置は電子装置よりも高速かつ効率的に認識することができた。光が行列乗算に有効であることは他の研究者も認識しており、2017年の論文ではそれをどのように応用するかを示した。

この研究は「ONNへの新たな大きな関心を呼び起こした」と、コーネル大学のフォトニクス専門家ピーター・マクマホン氏は述べた。「この研究は非常に大きな影響力を持っていました。」

素晴らしいアイデア

2017年の論文以来、様々な研究者が新しい種類の光コンピュータを開発するなど、この分野では着実な進歩が見られています。エングルンド氏と数人の共同研究者は最近、複数の進歩を組み合わせたHITOPという新しい光ネットワークを発表しました。最も重要なのは、時間、空間、波長に合わせて計算スループットをスケールアップすることを目指していることです。現在南カリフォルニア大学に所属するMITの元博士研究員ザイジュン・チェン氏は、これがHITOPが光ニューラルネットワークの欠点の1つを克服するのに役立つと述べています。それは、電子部品から光部品にデータを転送したり、その逆を行ったりするにはかなりのエネルギーが必要になることです。しかし、情報を3次元の光に詰め込むことで、より多くのデータをより速くONNに送り込み、エネルギーコストを多くの計算に分散させるとチェン氏は言います。これにより、計算あたりのコストが下がります。研究者らは、HITOPが従来のチップベースのONNの25,000倍の規模の機械学習モデルを実行できると報告しました。

誤解のないよう明確に言っておくと、このシステムは依然として電子的な先行技術に遠く及ばない。HITOPは1秒間に約1兆回の演算処理を実行するのに対し、高性能なNVIDIAチップは300倍ものデータ処理が可能だとチェン氏は述べ、この技術をスケールアップして競争力を高めたいと考えている。しかし、この光チップの効率は魅力的だ。「ここでのポイントは、エネルギーコストを1000分の1に削減できたことです」とチェン氏は述べた。

他のグループも、異なる利点を持つ光コンピュータを開発しています。昨年、ペンシルベニア大学のチームは、並外れた柔軟性を備えた新しいタイプのONNを発表しました。このチップベースのシステムは、電子チップを構成する半導体の一部にレーザーを照射することで、半導体の光学特性を変化させます。レーザーは光信号の経路を効果的にマッピングし、それによって実行される計算もマッピングします。これにより、研究者はシステムの動作を容易に再構成できます。これは、光や電気など、他のほとんどのチップベースのシステムとは大きく異なります。これらのシステムでは、経路は製造工場で綿密に設計されるため、変更が非常に困難です。

「これは信じられないほどシンプルなものです」と、研究の筆頭著者であるティアンウェイ・ウー氏は述べた。「レーザーパターンをリアルタイムで変更することで、再プログラムが可能です。」研究者たちはこのシステムを用いて、母音の識別に成功したニューラルネットワークを設計した。ほとんどの光子システムは、接続の再構成が不可欠となるため、構築前にトレーニングする必要がある。しかし、このシステムは容易に再構成できるため、研究者たちは半導体に実装した後にモデルをトレーニングした。彼らは現在、チップのサイズを拡大し、より多くの情報を様々な色の光でエンコードすることを計画しており、これにより処理可能なデータ量を増やすことができると期待されている。

90年代に顔認識システムを構築したプサルティス氏でさえ、この進歩に感銘を受けている。「40年前の私たちの壮大な夢も、実際に実現したことと比べれば、ほんのわずかなものでした。」

最初の光線

光コンピューティングはここ数年で急速に進歩しましたが、実験室外でニューラルネットワークを動作させる電子チップを置き換えるにはまだまだ遠い状況です。論文では電子システムよりも優れた性能を示す光子システムが発表されていますが、それらは概して古いネットワーク設計と小規模なワークロードを用いた小規模なモデルで動作しています。また、オンタリオ州クイーンズ大学のバビン・シャストリ氏は、光子優位性に関する報告されている数値の多くは全体像を語っていないと述べています。「電子技術と同等の条件で比較するのは非常に困難です」と彼は言います。「例えば、レーザーを使用する場合、レーザーに供給するエネルギーについてはあまり言及されていません。」

実験室のシステムは、競争上の優位性を発揮するには、まず規模を拡大する必要がある。「勝つためには、どれくらいの規模にする必要があるのか​​？」とマクマホン氏は問いかけた。答えは、とてつもなく大きい。だからこそ、今日の最先端のAIシステムの多くに搭載されているNVIDIAのチップに匹敵するものは他にない。その道のりには、解決すべき膨大な数の工学上の難問が待ち受けている。これらは、エレクトロニクス部門が数十年かけて解決してきた問題だ。「エレクトロニクスは大きな優位性を持ってスタートしている」とマクマホン氏は語った。

ONNベースのAIシステムは、まず独自の利点を提供する特殊なアプリケーションで成功を収めるだろうと一部の研究者は考えています。シャストリ氏によると、有望な用途の一つは、5G携帯電話基地局や航空機の航行を支援するレーダー高度計など、異なる無線通信間の干渉を阻止することだとのこと。今年初め、シャストリ氏と数名の同僚は、異なる通信を選別し、対象の信号をリアルタイムで、15ピコ秒（15兆分の1秒）未満の処理遅延で選択できるONNを開発しました。これは、電子システムにかかる時間の1000分の1未満、消費電力は70分の1未満です。

しかしマクマホン氏は、壮大なビジョン、つまり汎用性の高い電子システムを凌駕する光ニューラルネットワークは、依然として追求する価値があると述べた。昨年、彼の研究グループはシミュレーションを行い、10年以内に十分な規模の光学システムを構築することで、一部のAIモデルを将来の電子システムの1,000倍以上の効率化に成功させる可能性があることを示した。「多くの企業が現在、1.5倍の効率化を目指して懸命に取り組んでいます。1,000倍の効率化が実現できれば素晴らしいでしょう」とマクマホン氏は述べた。「もし成功すれば、おそらく10年かかるプロジェクトになるでしょう」

オリジナルストーリーは、数学、物理科学、生命科学の研究の進展や動向を取り上げることで科学に対する一般の理解を深めることを使命とする、 シモンズ財団の編集上独立した出版物であるQuanta Magazineから許可を得て転載されました。