ニューロンバーストは有名なAI学習戦略を模倣できる

人間や機械がタスクのスキルを向上させる方法を学習するたびに、証拠の痕跡が残されます。脳細胞やアルゴリズムの数値といった物理的な変化の連鎖が、パフォーマンスの向上の根底にあります。しかし、どのような変更を加えるべきかを正確に判断するのは容易ではありません。これは「功績割り当て問題」と呼ばれ、脳や人工知能システムは、パイプラインのどの部分がエラーの原因であるかを正確に特定し、必要な変更を加えなければなりません。もっと簡単に言えば、誰が悪いのかを見つけるための責任転嫁ゲームです。

AIエンジニアたちは、機械の得点割り当て問題を、ジェフリー・ヒントン、デイビッド・ルメルハート、ロナルド・ウィリアムズらの研究によって1986年に普及した強力なアルゴリズム「バックプロパゲーション」を用いて解決しました。このアルゴリズムは現在、入力層と出力層の間に人工「ニューロン」の層を隠した、ディープラーニングと呼ばれる最も成功したAIシステムの学習を支える主力となっています。そして今、 5月にNature Neuroscience誌に掲載された論文で、科学者たちはついに、リアルタイムで動作可能な生きた脳に相当するものを発見したかもしれないと示唆しています。

オタワ大学のリチャード・ノー氏と、マギル大学およびケベック州ミラAI研究所のブレイク・リチャーズ氏率いる研究チームは、バックプロパゲーションのプロセスを模倣できる脳の学習アルゴリズムの新しいモデルを発表しました。このモデルは非常にリアルに見えるため、実験神経科学者の注目を集め、脳が実際にこのプロセスを実行しているかどうかを調べるために、実際のニューロンの研究に関心が集まっています。

「より理論的な側面から生まれたアイデアは、難しい実験を行うための原動力となり得ますが、この論文はその点で基準をはるかに超えていると思います」と、ベルリン・フンボルト大学の実験神経科学者、マシュー・ラーカム氏は述べた。「生物学的に妥当性があり、大きな影響を与える可能性があります。」

しかし、この2つのプロセスは全く同じではありません。ディープニューラルネットワークを画像認識のために訓練する際、2段階のプロセスが行われます。まず順方向伝播が行われ、次に「学習」が行われる逆伝播が行われます。第1段階では、入力層のニューロンが画像の特徴をエンコードして渡します。次に、隠れ層のニューロンが計算を行い、その結果を出力層に送信します。出力層は「猫」のように画像の予測を出力します。しかし、もし画像が実際には犬だった場合、逆伝播アルゴリズムが介入し、ニューロンを接続する重みを調整することで、問題を修正します。

これらの変更は、各ニューロンが全体の誤差にどれだけ寄与しないかを計算することに基づいています。まず、出力層に最も近い最上位のニューロンから始め、各層を逆方向に進んでいきます。例えば、バックプロパゲーションアルゴリズムが特定のニューロンの活動を増加させることで出力予測が改善されると推定した場合、そのニューロンの重みが増加します。目標は、ニューラルネットワーク内のすべての接続を、それぞれ少しずつ正しい方向に変更し、出力予測がより頻繁に正しくなるまで続けることです。

研究者たちは何十年もの間、脳がバックプロパゲーションのような機能をどのように実行して得点割り当て問題を解決するのかを解明しようと試みてきました。しかし、バックプロパゲーション自体は生物学的に実現可能ではありません。なぜなら、現実のニューロンは外界の処理を止めてバックプロパゲーションの開始を待つことはできないからです。もしそうしたら、視覚や聴覚に障害が生じてしまうでしょう。

ナウドとリチャーズの新モデルは、ニューロン同士の通信方法に関する標準的な理解を単純に変更することで、この問題を回避した。ニューロンはビットとして動作し、2種類の出力、つまり別のニューロンに電気活動のスパイクを送るか送らないか、つまり1か0のどちらかしか出力できないことは、以前から知られている。しかし、ニューロンがスパイクの「バースト」を次々に送ることができることもまた事実だ。そして、そうすることでニューロン間の接続が変化することが証明されており、バーストは功績割り当て問題を解決するための自然な候補となっている。新モデルでは、研究チームはニューロンバーストを第3の出力信号、つまり非常に接近した1のストリームであるため実質的に2になるものとみなした。外界に関する情報をエンコードするのではなく、2は回路の最上部で蓄積された誤差に基づいて、他のニューロン同士の接続を強化するか弱めるかを指示する「教師信号」として機能する。

しかし、この教師信号が感覚処理を「一時停止」させることなく得点割り当て問題を解決するためには、彼らのモデルにはもう一つの重要な要素が必要でした。ナウドとリチャーズのチームは、ニューロンの上部と下部に別々の区画があり、それらが全く異なる方法で神経コードを処理すると提唱しました。

「[私たちのモデルは]実際に2つの信号があり、1つは上昇し、もう1つは下降し、それらがすれ違う可能性があることを示しています」とナウド氏は語った。

これを可能にするために、彼らのモデルは、ニューロンの頂上で入力を受け取る樹状枝は、接続を調整してエラーを減らすために、バースト（内部教師信号）だけをリッスンしていると仮定している。この調整は、バックプロパゲーションと同様に上から下に向かって行われる。彼らのモデルでは、最上部のニューロンが、その下のニューロンがバーストを送信する可能性を調整しているからだ。研究者らは、ネットワークにバーストが多いほど、ニューロンは接続の強度を高める傾向があり、バースト信号の頻度が低いと接続の強度は低下する傾向があることを示した。バースト信号は、タスク中にニューロンがアクティブであるべきであることを伝え、エラーが減るなら接続を強化する、という考え方である。バーストがない場合、ニューロンは非アクティブであるべきであり、接続を弱める必要があるかもしれないと伝える。

同時に、ニューロンの下部の枝はバーストを単一のスパイク（通常の外界信号）であるかのように処理し、これにより、回路内で感覚情報を中断することなく上向きに送信し続けることができます。

「振り返ってみると、提示されたアイデアは論理的に思えます。そして、それがその美しさを物語っていると思います」と、チューリッヒ大学とスイス連邦工科大学チューリッヒ校の計算神経科学者、ジョアン・サクラメント氏は述べた。「素晴らしいアイデアだと思います。」

過去にも同様の論理に従おうとした研究者がいました。20年前、ペンシルベニア大学のコンラッド・コーディングとドイツのオスナブリュック大学のペーター・ケーニヒは、2つの区画を持つニューロンを用いた学習フレームワークを提案しました。しかし、彼らの提案には、新しいモデルに見られる生物学的に重要な具体的な詳細の多くが欠けており、単なる提案に過ぎませんでした。彼らは、それが実際に単位割り当て問題を解決できることを証明できませんでした。

「当時は、これらのアイデアを検証する能力がまったくありませんでした」とコーディング氏は述べた。彼は今回の論文を「素晴らしい研究」と捉えており、自身の研究室でさらに研究を進める予定だ。

Naud、Richards、そして共同研究者たちは、今日の計算能力を用いて、バーストニューロンを学習則の役割を果たすモデルをシミュレートすることに成功しました。彼らは、XORと呼ばれる古典的なタスクにおけるクレジット割り当て問題を、このモデルが解くことを示しました。XORは、2つの入力のうち1つ（両方ではない）が1の場合に応答する学習を必要とします。また、バースト則を用いて構築されたディープニューラルネットワークは、難しい画像分類タスクにおいて、バックプロパゲーションアルゴリズムの性能を近似できることも示しました。しかし、バックプロパゲーションアルゴリズムの方が精度が高く、どちらも人間の能力に完全に匹敵するわけではないため、まだ改善の余地があります。

「私たちがまだ把握していない詳細があるはずで、モデルを改良する必要がある」とナウド氏は述べた。「この論文の主な目的は、機械が行っているような学習が生理学的プロセスによって近似できることを示すことだ。」

AI研究者もまた、脳がどのようにバックプロパゲーションを近似するかを解明することで、最終的にはAIシステムの学習方法も改善できる可能性があると期待している。「もしそれを理解できれば、最終的には脳と同じくらい効率的に計算問題を解くことができるシステムにつながるかもしれません」と、オランダのラドバウド大学ドンダース研究所人工知能部門のマルセル・ファン・ゲルフェン部門長は述べている。

新しいモデルは、神経科学と AI の連携によって、それぞれの理解を超えて、脳と機械が何かを学習するために必要な一般原則を発見できる可能性を示唆している。

「これらは、最終的にはウェットウェアを超越する原則です」とラーカム氏は語った。

オリジナルストーリーは、数学、物理科学、生命科学の研究の進展や動向を取り上げることで科学に対する一般の理解を深めることを使命とする、 シモンズ財団の編集上独立した出版物であるQuanta Magazineから許可を得て転載されました。

WIREDのその他の素晴らしい記事

• 📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
• ニール・スティーブンソンがついに地球温暖化問題に取り組む
• 宇宙線現象がバイキングのカナダ上陸を正確に特定
• Facebookアカウントを永久に削除する方法
• Appleのシリコン戦略を覗いてみよう
• もっと良いPCが欲しい？自分で作ってみませんか？
• 👁️ 新しいデータベースで、これまでにないAIを探索しましょう
• 🎮 WIRED Games: 最新のヒントやレビューなどを入手
• 🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください