機械学習の「驚異的な」混沌予測能力

半世紀前、カオス理論の先駆者たちは、「バタフライ効果」によって長期予測が不可能になることを発見しました。複雑なシステム（天候、経済、その他あらゆるもの）に生じるわずかな摂動でさえ、一連の出来事を引き起こし、劇的に異なる未来へと導く可能性があります。こうしたシステムの状態を正確に把握し、どのように展開するかを予測できないため、私たちは不確実性のベールに包まれて生きています。

しかし今ではロボットが助けてくれます。

Physical Review Letters誌とChaos誌に報告された一連の研究結果によると、科学者たちは機械学習（近年の人工知能の成功の基盤となっている計算技術と同じ）を用いて、驚くほど遠い未来のカオスシステムの未来の進化を予測することに成功した。このアプローチは外部の専門家から画期的であり、幅広い応用が期待されると高く評価されている。

「彼らがシステムの混沌とし​​た進化をどれほど先の未来まで予測しているのか、本当に驚きです」と、ドイツ・ブレーメンのヤコブス大学の計算科学教授、ハーバート・イェーガー氏は語った。

この研究結果は、ベテランカオス理論家エドワード・オット氏とメリーランド大学の4人の共同研究者によるものです。彼らはリザーバーコンピューティングと呼ばれる機械学習アルゴリズムを用いて、クラモト・シヴァシンスキー方程式と呼ばれる典型的なカオス系のダイナミクスを「学習」しました。この方程式の解は、可燃性媒体中を進む炎面のように揺らめきながら変化します。この方程式はプラズマ中のドリフト波などの現象も記述し、「乱流と時空間カオスを研究するためのテストベッド」として機能すると、オット氏の大学院生で新論文の筆頭著者であるジャイディープ・パタク氏は述べています。

研究者たちのリザーバーコンピューターは、倉本・シヴァシンスキー方程式の過去の発展データを用いて学習した後、炎のような系がどのように進化していくかを、8「リアプノフ時間」先まで正確に予測することができました。これは、大まかに言えば、従来の手法で予測できたよりも8倍も先のことです。リアプノフ時間は、カオス系におけるほぼ同一の2つの状態が指数関数的に分岐するのにかかる時間を表します。そのため、通常は予測可能性の限界を定めるものとなります。

「これは本当に素晴らしい」と、ドイツ・ドレスデンにあるマックス・プランク複雑系物理学研究所のカオス理論家ホルガー・カンツ氏は、8回のリアプノフ時間予測について述べた。「この機械学習技術は、いわば真実を知っているのとほぼ同等の威力を発揮するのです。」

このアルゴリズムはクラモト・シヴァシンスキー方程式そのものについては何も知らず、方程式の解の進化に関する記録されたデータのみを参照する。これが機械学習アプローチの強力な点である。多くの場合、カオス系を記述する方程式は未知であり、力学研究者によるモデル化と予測の取り組みを阻害してきた。オットらの研究結果は、方程式は必要なく、必要なのはデータだけであることを示唆している。「この論文は、将来、高度な大気モデルではなく、機械学習アルゴリズムによって天気を予測できるようになるかもしれないことを示唆している」とカンツ氏は述べた。

専門家によると、この機械学習技術は天気予報以外にも、心臓発作の兆候を探る不整脈のモニタリングや、脳内のニューロンの発火パターンのモニタリング、ニューロンスパイクの兆候の検出に役立つ可能性があるという。より推測的に言えば、船舶を危険にさらす巨大波や、場合によっては地震の予測にも役立つ可能性がある。

オット氏は特に、1859年に太陽表面から3万5000マイルにわたって発生した太陽嵐のような太陽嵐の事前警告に、これらの新しいツールが役立つことを期待しています。この磁気爆発は、地球全体で観測可能なオーロラを生み出し、一部の電信システムを破壊しました。一方で、他の回線は電源を切っても稼働できるほどの電圧が発生しました。もし今日、このような太陽嵐が予期せず地球を襲った場合、専門家は地球の電子インフラに深刻な被害をもたらすだろうと述べています。「嵐が来ることを知っていれば、電源を切って後で再起動するだけで済みます」とオット氏は言います。

イェーガーとパタック、そして同僚のブライアン・ハント、ミシェル・ガーバン、そして現在ペンシルベニア大学に在籍するルー志欣は、既存のツールを統合することでこの成果を達成した。6、7年前、「ディープラーニング」として知られる強力なアルゴリズムが画像認識や音声認識といったAIタスクをマスターし始めた頃、彼らは機械学習について調べ始め、それをカオスに適用する賢い方法を考え始めた。そして、ディープラーニング革命に先立つ有望な研究結果をいくつか知った。最も重要なのは、2000年代初頭、イェーガーと同じくドイツのカオス理論家ハラルド・ハースが、ランダム接続された人工ニューロンのネットワーク（リザーバーコンピューティングにおける「リザーバー」を形成）を利用して、カオス的に共進化する3つの変数のダイナミクスを学習したことだ。3つの数値系列でトレーニングした後、ネットワークは3つの変数の将来の値を驚くほど遠い将来まで予測できた。しかし、相互作用する変数が少数を超えると、計算は手に負えないほどに扱いにくくなった。オット氏と彼の同僚たちは、膨大な数の相互に関連する変数を持つ大規模カオス系において、リザーバーコンピューティングを実用的なものにするために、より効率的な手法を必要としていました。例えば、前進する炎の前面に沿ったあらゆる位置において、追跡すべき3つの空間方向の速度成分が存在するのです。

単純な解決策を思いつくまでには何年もかかりました。「私たちが利用したのは、空間的に拡張されたカオスシステムにおける相互作用の局所性でした」とパタック氏は言います。局所性とは、ある場所の変数は近くの場所の変数の影響を受けますが、遠くの場所の変数の影響を受けないことを意味します。「これを利用すると」とパタック氏は説明します。「本質的には、問題をチャンクに分割できます」。つまり、問題を並列化できるのです。あるニューロンリザーバーを使ってシステムの1つのパッチを学習し、別のニューロンリザーバーを使って次のパッチを学習する、といった具合です。隣接するドメインがわずかに重なることで、相互作用を考慮します。

並列化により、適切なコンピュータ リソースがタスクに割り当てられている限り、リザーバ コンピューティング アプローチではほぼあらゆる規模のカオス システムを処理できるようになります。

オット氏は、リザーバーコンピューティングを3段階の手順として説明した。例えば、延焼する火災の進行を予測するためにリザーバーコンピューティングを利用したいとしよう。まず、炎の前面に沿って5つの異なる地点で炎の高さを測定し、一定時間にわたって炎が進むにつれて、これらの地点で炎の高さを測定し続ける。これらのデータストリームを、リザーバー内のランダムに選択された人工ニューロンに入力する。入力データがニューロンの発火をトリガーし、接続されたニューロンが順に発火し、ネットワーク全体にカスケード信号が送信される。

次のステップは、ニューラルネットワークに入力データから変化する炎面のダイナミクスを学習させることです。そのためには、データを入力すると同時に、リザーバー内のランダムに選択された複数のニューロンの信号強度も監視します。これらの信号を5つの異なる方法で重み付け・合成することで、5つの数値を出力します。目標は、出力の計算に用いられる様々な信号の重みを調整し、それらの出力が次の入力セット、つまり炎面に沿って少し後に測定された5つの新しい高さと一貫して一致するようにすることです。「目指すのは、出力が少し後の入力と一致することです」とオット氏は説明しました。

正しい重みを学習するために、アルゴリズムは各出力セット（5点それぞれにおける予測された炎の高さ）を次の入力セット（実際の炎の高さ）と比較します。そして、各信号の重みを、その組み合わせが5つの出力に対して正しい値を与えるように、毎回増減させます。あるタイムステップから次のタイムステップへと重みが調整されるにつれて、予測は徐々に改善され、最終的にはアルゴリズムは1タイムステップ後の炎の状態を一貫して予測できるようになります。

「第3段階では、実際に予測を行います」とオット氏は述べた。システムのダイナミクスを学習したリザーバーは、それがどのように進化するかを明らかにすることができる。ネットワークは本質的に、何が起こるかを自らに問いかける。出力は新しい入力としてフィードバックされ、その出力が入力としてフィードバックされる、といった具合に、炎面の5つの位置における高さがどのように変化するかを予測する。同時に機能する他のリザーバーは、炎の他の部分における高さの変化を予測する。

1月に発表されたPRL論文のグラフで、研究者らは、倉本・シヴァシンスキー方程式の予測された炎のような解が、最終的にカオスが勝利し、システムの実際の状態と予測された状態が乖離するまでの8回のリャプノフ回まで、真の解と正確に一致することを示している。

カオス系を予測する一般的なアプローチは、ある瞬間の状態を可能な限り正確に測定し、そのデータを用いて物理モデルを較正し、その後モデルを進化させることです。概算では、典型的な系の初期状態を8倍先の進化を予測するには、その1億倍の精度で測定する必要があります。

だからこそ機械学習は「非常に有用かつ強力なアプローチ」だと、ドイツ・ゲッティンゲンにあるマックス・プランク動力学・自己組織化研究所のウルリッヒ・パリッツ氏は言う。パリッツ氏もイェーガー氏同様、2000年代初頭に機械学習を低次元カオス系に適用した。「彼らが示した例に機能するだけでなく、ある意味で普遍的であり、多くのプロセスやシステムに適用できると思います」。Chaos誌に近日掲載予定の論文で、パリッツ氏と共同研究者はリザーバーコンピューティングを適用し、心臓組織などの「興奮性媒体」の動態を予測した。パリッツ氏は、ディープラーニングはリザーバーコンピューティングよりも複雑で計算量が多いものの、他の機械学習アルゴリズムと同様にカオスへの取り組みにも有効だと考えている。最近、マサチューセッツ工科大学とチューリッヒ工科大学の研究者らは、一時的な情報を長期間保存することを可能にする再帰ループを備えた「長期短期記憶」ニューラルネットワークを使用して、メリーランドのチームと同様の結果を達成した。

PRL論文の研究以来、オット、パタック、ガーバン、ルーと他の共同研究者らは、予測手法の実用化に近づいてきた。Chaos への掲載が承認された新しい研究で、彼らは、データ駆動型の機械学習アプローチと従来のモデルベースの予測をハイブリッド化することで、クラモト・シヴァシンスキー方程式などのカオス系の予測精度向上が可能になることを示した。オットは、完全な高解像度データや完璧な物理モデルが常に存在するとは限らないため、これが天気予報や同様の取り組みの精度向上につながる可能性の高い手段だと考えている。「私たちがすべきことは、持っている知識を、それが存在するところで使うことです」と同氏は言う。「そして、無知な点がある場合は、機械学習を使用して、無知が存在するギャップを埋める必要があります」。リザーバーの予測は、基本的にモデルを調整することができる。クラモト・シヴァシンスキー方程式の場合、正確な予測は12リャプノフ倍まで拡張される。

リャプノフ時間の長さはシステムによって異なり、数ミリ秒から数百万年まで様々です（天気の場合は数日です）。時間が短いほど、システムはバタフライ効果に敏感になり、影響を受けやすくなります。バタフライ効果とは、類似した状態がより急速に変化し、異なる未来へと移行していく現象です。カオスシステムは自然界のいたるところに存在し、程度の差はあれ、急速に暴走します。しかし不思議なことに、カオスそのものを定義するのは困難です。「力学系に携わるほとんどの人が使う言葉ですが、彼らはそれをわざと気に留めていません」と、シカゴ大学の数学教授であるエイミー・ウィルキンソンは述べています。「何かをカオスと言うのは少し安っぽい気がします」と彼女は言います。なぜなら、合意された数学的定義や必要十分条件がないにもかかわらず、人々の注目を集めるからです。「簡単な概念はありません」とカンツも同意しました。場合によっては、システムの単一のパラメータを調整することで、カオスから安定へ、あるいはその逆へと変化させることができます。

ウィルキンソンとカンツは共に、カオスを伸張と折り畳みという観点から定義しています。これは、パイ生地を作る際に生地を繰り返し伸ばしたり折り畳んだりする動作に似ています。生地の各塊は麺棒の下で水平方向に伸び、空間的に2つの方向に指数関数的に急速に分離します。その後、生地は折り畳まれて平らになり、近くの塊を垂直方向に圧縮します。カンツは、天候、山火事、嵐のような太陽の表面、その他すべてのカオスシステムはまさにこのように作用すると述べています。「軌道が指数関数的に発散するには、この伸張が必要です。そして、無限に暴走しないためには、ある程度の折り畳みが必要です」。折り畳みは、システム内の変数間の非線形関係から生じます。

異なる次元における伸張と圧縮は、それぞれシステムの正と負の「リアプノフ指数」に対応する。メリーランド大学の研究チームは、 Chaos誌に最近掲載された別の論文で、同大学のリザーバコンピュータがシステムの進化に関するデータからこれらの特徴的な指数の値を学習できたと報告している。リザーバコンピューティングがカオスシステムのダイナミクスの学習に優れている理由はまだ十分に解明されていないが、コンピュータがデータに応じて自身の数式を調整し、最終的にシステムのダイナミクスを再現するという考えは的を射ている。この手法は非常に有効であるため、オット氏とメリーランド大学の他の研究者たちは現在、カオス理論を用いてニューラルネットワークの内部構造をより深く理解しようと考えている。

オリジナルストーリーは、数学、物理科学、生命科学の研究の進展や動向を取り上げることで科学に対する一般の理解を深めることを使命とする、シモンズ財団の編集上独立した出版物であるQuanta Magazineから許可を得て転載されました。