超次元コンピューティングが人工知能を再考する

ChatGPT やその他の大規模言語モデルが大きな成功を収めているにもかかわらず、これらのシステムの基盤となる人工ニューラル ネットワーク (ANN) は間違った方向に進んでいる可能性があります。

メリーランド大学のコンピュータ科学者、コーネリア・ファーミュラー氏は、まずANNは「非常に多くの電力を消費する」と述べている。「そしてもう一つの問題は、透明性の欠如だ」。こうしたシステムは非常に複雑なため、何をしているのか、なぜそれほどうまく機能しているのかを真に理解している人はいない。その結果、人間が行うように、物体、アイデア、そしてそれらの関係を表す記号を用いて類推的に推論させることは、ANNにほぼ不可能になっている。

このような欠点は、ANNの現在の構造とその構成要素である個々の人工ニューロンに起因していると考えられます。各ニューロンは入力を受け取り、計算を実行し、出力を生成します。現代のANNは、これらの計算ユニットが特定のタスクを実行するように訓練された精巧なネットワークです。

しかし、ANNの限界は以前から明らかでした。例えば、円と四角形を区別するANNを考えてみましょう。その方法の一つは、出力層に円を識別するニューロンと四角形を識別するニューロンの2つを配置することです。もしANNに図形の色（例えば青か赤）も識別させたい場合、青い円、青い四角形、赤い円、赤い四角形それぞれに1つずつ、合計4つの出力ニューロンが必要になります。特徴量が増えれば、ニューロンの数も増えます。

私たちの脳が、その多様な自然界をこのように認識しているはずがありません。「あらゆる組み合わせに対応するニューロンが存在すると仮定しなければなりません」と、カリフォルニア大学バークレー校の神経科学者、ブルーノ・オルシャウゼンは言います。「つまり、脳内には紫色のフォルクスワーゲンの探知機があるようなものです」

オルシャウゼンらは、脳内の情報は多数のニューロンの活動によって表現されると主張している。つまり、紫色のフォルクスワーゲンという認識は、単一のニューロンの活動としてではなく、数千のニューロンの活動として符号化されているのだ。同じニューロン群であっても、発火の仕方が異なれば、全く異なる概念（例えばピンクのキャデラック）を表現する可能性がある。

これは、超次元コンピューティングと呼ばれる、根本的に異なる計算アプローチの出発点です。重要なのは、車の概念、メーカー、モデル、色といった情報、あるいはそれら全てが、単一の実体、つまり超次元ベクトルとして表現されることです。

ベクトルとは、単純に数値の順序付けられた配列です。例えば、3次元ベクトルは、 3次元空間における点のx、y、 z座標という3つの数値で構成されます。超次元ベクトル（ハイパーベクトル）は、例えば10,000次元空間における点を表す10,000個の数値の配列となる場合があります。これらの数学的オブジェクトとそれらを操作する代数は、現代のコンピューティングを現在の限界の一部を超えて発展させ、人工知能への新たなアプローチを促進するのに十分な柔軟性と強力さを備えています。

「これは私のキャリア全体を通して、ほぼ間違いなく最も興奮していることです」とオルシャウゼン氏は語った。彼をはじめとする多くの人々にとって、超次元コンピューティングは、コンピューティングが効率的かつ堅牢で、機械による意思決定が完全に透明化された新しい世界を約束するものだ。

高次元空間へ

ハイパーベクトルがどのように計算を可能にするかを理解するために、赤い円と青い四角形のある画像に戻りましょう。まず、変数 SHAPE と COLOR を表すベクトルが必要です。次に、変数 CIRCLE、SQUARE、BLUE、RED に割り当てることができる値のベクトルも必要です。

ベクトルは互いに異なるものでなければなりません。この違いは、直交性と呼ばれる性質によって定量化できます。直交性とは、ベクトルが直角であることを意味します。3次元空間には、互いに直交するベクトルが3つあります。1つはx方向、もう1つはy方向、そしてもう1つはz方向です。10,000次元空間には、このような互いに直交するベクトルが10,000個あります。

しかし、ベクトルがほぼ直交していると仮定すると、高次元空間におけるそのような異なるベクトルの数は爆発的に増加します。1万次元空間では、ほぼ直交するベクトルは数百万個に上ります。

それでは、形、色、円、正方形、青、赤を表すそれぞれ異なるベクトルを作成しましょう。高次元空間にはほぼ直交するベクトルが多数存在するため、6つのアイテムを表すためにランダムに6つのベクトルを割り当てるだけで済みます。これらのベクトルはほぼ直交することがほぼ保証されます。「ほぼ直交するベクトルを簡単に作成できることが、超次元表現を使用する主な理由です」と、カリフォルニア大学バークレー校レッドウッド理論神経科学センターの研究者であるペンティ・カネルヴァは、2009年の影響力のある論文で述べています。

この論文は、1990年代半ばにカネルヴァと、当時トロント大学でジェフ・ヒントンに師事していた博士課程の学生トニー・プレートによって行われた研究に基づいています。二人は独立してハイパーベクトルを操作するための代数を開発し、高次元コンピューティングにおけるその有用性を示唆しました。

カネルバとプレートによって開発されたシステムは、形と色のハイパーベクトルが与えられたとき、特定の数学的演算を用いてそれらを操作する方法を教えてくれます。これらの操作は、概念を記号的に操作する方法に対応しています。

最初の演算は乗算です。これはアイデアを組み合わせる方法です。例えば、ベクトル SHAPE とベクトル CIRCLE を乗算すると、2つが「SHAPE is CIRCLE」というアイデアの表現に結合します。この新しい「結合」ベクトルは、SHAPE と CIRCLE の両方にほぼ直交します。そして、個々の要素は復元可能です。これは、結合ベクトルから情報を抽出したい場合に重要な特徴です。例えば、あなたのフォルクスワーゲンを表す結合ベクトルがあれば、その結合を解除して、その色である紫のベクトルを取得できます。

2つ目の演算である加算は、概念の重ね合わせを表す新しいベクトルを作成します。例えば、「形状は円」と「色は赤」という2つの結合ベクトルを足し合わせると、赤色の円形を表すベクトルが作成されます。重ね合わせたベクトルは、構成要素に分解することができます。

3つ目の演算は順列です。これはベクトルの個々の要素を並べ替えるものです。例えば、x、y 、 zというラベルの付いた値を持つ3次元ベクトルがある場合、順列によってxの値がyに、yがzに、zがxに移動される可能性があります。「順列によって構造を構築できます」とKanerva氏は述べています。「これにより、次々に発生するシーケンスを処理できるようになります。」ハイパーベクトルAとBで表される2つのイベントを考えてみましょう。これらを1つのベクトルに重ね合わせることもできますが、そうするとイベントの順序に関する情報が失われます。加算と順列を組み合わせることで順序が保持され、演算を逆に実行することでイベントを順序どおりに取得できます。

これら3つの演算を組み合わせることで、記号推論を可能にするハイパーベクトルの形式代数を構築するのに十分であることが証明されました。しかし、オルシャウゼン氏を含め、多くの研究者は超次元コンピューティングの可能性を理解するのに時間がかかりました。「なかなか実感が湧かなかったんです」と彼は言います。

力を活用する

2015年、オルシャウゼンの教え子であるエリック・ワイスが、超次元コンピューティングのユニークな能力の一側面を実証しました。ワイスは、複雑な画像を、画像内のすべてのオブジェクトの情報（色、位置、サイズなどのプロパティを含む）を含む単一の超次元ベクトルとして表現する方法を考案しました。

「椅子から落ちそうになりました」とオルシャウゼン氏は語った。「突然、ひらめいたんです」

すぐに、より多くのチームが、画像の分類など、約 20 年前にディープ ニューラル ネットワークが取り組み始めた単純なタスクを再現する超次元アルゴリズムの開発を始めました。

手書きの数字の画像からなるアノテーション付きデータセットを考えてみましょう。アルゴリズムは、あらかじめ定められた手法を用いて各画像の特徴を分析します。そして、各画像のハイパーベクトルを作成します。次に、アルゴリズムはすべてのゼロの画像のハイパーベクトルを加算して、ゼロの概念を表すハイパーベクトルを作成します。そして、すべての数字について同じ処理を行い、各数字に対応する10個の「クラス」ハイパーベクトルを作成します。

アルゴリズムはラベルのない画像を受け取ります。この新しい画像からハイパーベクトルを作成し、それを保存されているクラスハイパーベクトルと比較します。この比較によって、新しい画像に最も類似する数字が決定されます。

しかし、これはほんの始まりに過ぎません。超次元コンピューティングの強みは、推論のためにハイパーベクトルを合成・分解する能力にあります。この最新の実証は3月に行われました。チューリッヒのIBMリサーチセンターのアバス・ラヒミ氏とその同僚たちは、ニューラルネットワークを用いた超次元コンピューティングを用いて、抽象視覚推論における古典的な問題を解きました。これは、典型的なANN、さらには一部の人間にとっても大きな課題でした。「レイヴンの漸進的行列」として知られるこの問題では、例えば3×3のグリッドに幾何学的物体の画像が提示されます。グリッドの1つの位置は空白です。被験者は、候補となる画像のセットから、その空白に最もよく合う画像を選択しなければなりません。

「私たちは、『これはまさに視覚的抽象的推論の最高の例だ、さあ始めよう』と言いました」とラヒミ氏は語った。

超次元コンピューティングを用いてこの問題を解決するため、研究チームはまず、各画像内のオブジェクトを表すハイパーベクトルの辞書を作成しました。辞書内の各ハイパーベクトルは、オブジェクトとその属性の組み合わせを表します。次に、ニューラルネットワークを訓練し、画像を調べて、辞書内のハイパーベクトルの重ね合わせに可能な限り近い双極性ハイパーベクトル（各要素は+1または-1の値を取る）を生成するようにしました。生成されたハイパーベクトルには、画像内のすべてのオブジェクトとその属性に関する情報が含まれます。「ニューラルネットワークを意味のある概念空間へと導くのです」とラヒミ氏は述べています。

ネットワークが各コンテキスト画像と空きスロットの各候補画像についてハイパーベクトルを生成すると、別のアルゴリズムがハイパーベクトルを分析し、各画像に含まれるオブジェクトの数、サイズ、その他の特性の確率分布を作成します。これらの確率分布は、コンテキスト画像と候補画像の両方の可能性のある特性を示しており、ハイパーベクトルに変換することで代数を用いて空きスロットを埋める最も可能性の高い候補画像を予測することができます。

彼らのアプローチは、ある問題セットにおいて88%近くの精度を達成したのに対し、ニューラルネットワークのみを用いた解法では61%未満の精度にとどまった。また、研究チームは3×3のグリッドにおいて、記号論理のルールを用いて推論を行う従来の方法と比べて、彼らのシステムが約250倍高速であることを示した。従来の方法では、次のステップを決定するために膨大なルールブックを検索する必要があるためである。

有望なスタート

超次元コンピューティングは、記号的に問題を解く力を与えるだけでなく、従来のコンピューティングが抱えるいくつかの厄介な問題にも対処します。例えば、ランダムなビット反転（0が1になる、あるいはその逆）によって発生するエラーが、内蔵のエラー訂正機構で訂正できない場合、今日のコンピュータの性能は急速に低下します。さらに、これらのエラー訂正機構は、性能に最大25%のペナルティを課す可能性があると、ヴィラノバ大学のコンピュータ科学者であるXun Jiao氏は述べています。

超次元コンピューティングはエラーに対する耐性が優れています。なぜなら、ハイパーベクトルが多数のランダムビット反転を被ったとしても、元のベクトルに近いからです。これは、これらのベクトルを用いた推論がエラーに直面しても、有意な影響を受けないことを意味します。Jiao氏のチームは、これらのシステムが従来のANNよりもハードウェア障害に対して少なくとも10倍耐性が高いことを示しました。従来のANN自体も、従来のコンピューティングアーキテクチャよりも桁違いに耐性が高いです。「私たちは、これらの耐性をすべて活用して、効率的なハードウェアを設計することができます」とJiao氏は述べています。

超次元コンピューティングのもう一つの利点は透明性です。代数は、システムがなぜその答えを選んだのかを明確に示します。これは従来のニューラルネットワークには当てはまりません。オルシャウゼン氏、ラヒミ氏をはじめとする研究者たちは、ニューラルネットワークが物理世界の事象をハイパーベクトルにマッピングし、その後は超次元代数が処理を引き継ぐハイブリッドシステムを開発しています。「類推的な推論のようなものが、自然に身に付くのです」とオルシャウゼン氏は言います。「これはあらゆるAIシステムに期待されるものです。飛行機やテレビを理解するのと同じように、AIも理解できるはずです。」

従来のコンピューティングに対するこれらの利点はすべて、超次元コンピューティングが極めて堅牢で低消費電力の新世代ハードウェアに適していることを示唆しています。また、データを保存するハードウェア上でコンピューティングを実行する「インメモリコンピューティングシステム」とも互換性があります（メモリと中央処理装置間で非効率的にデータをやり取りする既存のフォン・ノイマン型コンピュータとは異なります）。これらの新しいデバイスの中には、非常に低い電圧で動作するアナログデバイスもあり、エネルギー効率は高いものの、ランダムノイズが発生しやすいという欠点があります。フォン・ノイマン型コンピューティングにとって、このランダム性は「越えられない壁」だとオルシャウゼン氏は言います。しかし、超次元コンピューティングでは、「それを簡単に突き破ることができる」のです。

こうした利点があるにもかかわらず、超次元コンピューティングはまだ初期段階にあります。「ここには真の可能性があります」とファーミュラー氏は述べました。しかし、彼女は、現実世界の問題に対して、そして現代のニューラルネットワークに近い規模で、まだテストする必要があると指摘しています。

「大規模な問題には、非常に効率的なハードウェアが必要です」とラヒミ氏は述べた。「例えば、10億以上のアイテムを効率的に検索するにはどうすればいいのでしょうか？」

これらすべては時間とともに明らかになるはずだとカネルバ氏は言った。「高次元空間には他にも秘密が隠されている」と彼は言った。「これはまさにベクトル計算の時代の始まりだと私は考えています。」

オリジナルストーリーは、数学、物理科学、生命科学の研究の進展や動向を取り上げることで科学に対する一般の理解を深めることを使命とする、 シモンズ財団の編集上独立した出版物であるQuanta Magazineから許可を得て転載されました。