人工知能の新たなミューズ：嗅覚

今日の人工知能システム、特に神経系のニューロンや神経回路に広く着想を得た人工ニューラルネットワークは、既知の制約条件の下でのタスクにおいて素晴らしいパフォーマンスを発揮します。しかし同時に、膨大な計算能力と膨大な量の学習データを必要とする傾向があります。こうした能力こそが、チェスや囲碁をプレイしたり、画像に車が写っているかどうかを検知したり、猫と犬の描写を区別したりする上で、人工知能システムを優れたものにしているのです。「しかし、音楽を作曲したり短編小説を書いたりするのは、かなり拙いのです」と、ペンシルベニア大学の計算神経科学者コンラッド・コーディング氏は述べています。「世の中を意味のある形で推論するのは非常に困難です。」

こうした限界を克服するため、いくつかの研究グループは新たなアイデアを求めて脳に回帰している。しかし、その中の少数のグループは、一見すると意外な出発点に思えるかもしれない、嗅覚、つまり嗅覚を研究対象としている。生物が化学情報を処理する仕組みをより深く理解しようとする科学者たちは、AIの問題に特に関連していると思われるコーディング戦略を発見した。さらに、嗅覚回路は、より優れた機械を開発するための研究で注目されてきた、より複雑な脳領域と驚くべき類似性を持っている。

コンピューター科学者たちは現在、機械学習の文脈でこれらの発見を調査し始めています。

偶然と革命

今日使用されている最先端の機械学習技術は、少なくとも部分的には、階層的な情報抽出に基づく視覚システムの構造を模倣するように構築されています。視覚皮質が感覚データを受け取ると、まずエッジ、テクスチャ、色といった小さく明確な特徴を拾い上げ、空間マッピングを行います。神経科学者のデイヴィッド・フーベルとトルステン・ヴィーゼルは、1950年代から60年代にかけて、視覚システム内の特定のニューロンが網膜の特定のピクセル位置に対応することを発見し、この発見によりノーベル賞を受賞しました。

視覚情報が皮質ニューロンの層を伝わるにつれて、エッジ、テクスチャ、色といった細部が統合され、入力情報のより抽象的な表現が形成されていきます。例えば、物体は人間の顔であり、その顔の正体はジェーンである、といった具合です。ネットワークの各層が、生物がこの目標を達成するのを助けています。

ディープニューラルネットワークも同様に階層的に動作するように構築され、機械学習とAI研究に革命をもたらしました。これらのネットワークに顔などの物体を認識させるため、数千枚のサンプル画像が与えられます。システムは人工ニューロン間の接続を強めたり弱めたりすることで、特定のピクセル集合がより抽象的な顔のパターンを形成していることをより正確に判断します。十分なサンプルがあれば、新しい画像やこれまでに見たことのない状況でも顔を認識できるようになります。

研究者たちは、画像分類だけでなく、音声認識、言語翻訳、その他の機械学習アプリケーションにおいても、これらのネットワークで大きな成功を収めてきました。ワシントン大学計算神経科学センターの研究者であるチャールズ・デラハント氏は、「ディープネットは貨物列車のようなものだと考えます」と述べています。「線路を敷設し、巨大なインフラを整備できる、ある程度平坦な地面があれば、ディープネットは非常に強力です。しかし、生物系にはそこまでのすべては必要ないということは分かっています。生物系は、ディープネットが現時点では対応できない難しい問題にも対処できるのです。」

AIのホットな話題である自動運転車を例に挙げてみましょう。車がリアルタイムで新しい環境（常に変化し、ノイズと曖昧さに満ちた環境）を走行する際、視覚系に着想を得たディープラーニング技術では不十分な場合があります。つまり、視覚に緩く依存する手法は、正しい方向ではないのかもしれません。マサチューセッツ工科大学の生物物理学者アダム・マーブルストーン氏は、視覚が洞察の大きな源泉となったのは、ある意味偶然であり、「歴史的なまぐれ」だったと述べています。視覚は科学者が最もよく理解していたシステムであり、画像ベースの機械学習タスクへの明確な応用が可能だったのです。

しかし、「あらゆる種類の刺激が同じように処理されるわけではない」と、カリフォルニア州ソーク生物学研究所のコンピューター科学者、サケット・ナブラカ氏は述べた。「例えば、視覚と嗅覚は全く異なる種類の信号です。…つまり、異なる種類のデータには異なる戦略があるのか​​もしれません。視覚システムの仕組みを研究する以外にも、多くの知見が得られる可能性があると思います。」

彼をはじめとする研究者たちは、昆虫の嗅覚回路にそうした教訓の一部が隠されている可能性を示し始めている。嗅覚研究が本格的に始まったのは1990年代、当時コロンビア大学に在籍していた生物学者リンダ・バックとリチャード・アクセルが嗅覚受容体の遺伝子を発見してからのことだ。しかし、それ以来、嗅覚系は特によく特徴づけられるようになり、ハエなどの昆虫において容易に研究できるようになった。一部の科学者は、嗅覚系は視覚系のように一般的な計算課題を研究するのに適したものではないと主張している。

「嗅覚は有限なシステムであり、比較的完全に特徴づけることができるため、私たちは嗅覚を研究しています」とデラハント氏は述べた。「きっと勝算はあるはずです。」

「人間はすでに視覚で素晴らしいことを成し遂げています」と、イギリスのハートフォードシャー大学の計算神経科学者、マイケル・シュムカー氏は付け加えた。「嗅覚でも素晴らしいことができるかもしれません」

ランダムネットワークとスパースネットワーク

嗅覚は視覚とは多くの点で異なります。匂いは構造化されていません。境界がなく、空間的にグループ化できる物体ではありません。匂いは様々な成分と濃度の混合物であり、互いに似ているか異なるかに分類することが困難です。そのため、どの特徴に注目すべきかは必ずしも明確ではありません。

これらの匂いは、視覚野よりもはるかに単純な、浅い三層ネットワークによって分析されます。嗅覚野のニューロンは、階層構造内の特定の領域ではなく、受容体空間全体をランダムにサンプリングします。ソーク研究所の神経生物学者チャールズ・スティーブンス氏が「アンチマップ」と呼ぶ仕組みを利用しています。視覚野のようなマップ化されたシステムでは、ニューロンの位置から、そのニューロンが伝達する情報の種類が明らかになります。しかし、嗅覚野のアンチマップではそうではありません。情報はシステム全体に分散しており、そのデータを読み取るには最小限の数のニューロンからサンプリングを行う必要があります。アンチマップは、高次元空間における情報のスパース表現と呼ばれるものによって実現されます。

ショウジョウバエの嗅覚回路を例に挙げましょう。50個の投射ニューロンが、それぞれ異なる分子に反応する受容体からの入力を受け取ります。一つの匂いが多くの異なるニューロンを刺激し、それぞれのニューロンは様々な匂いを表します。これは情報の混沌、つまり重なり合った表現であり、この時点で50次元空間に表現されています。この情報はその後、特定の匂いを符号化する2,000個のいわゆるケニヨン細胞にランダムに投射されます（哺乳類では、梨状皮質と呼ばれる皮質の細胞がこれを処理します）。これは次元の40倍の拡張に相当し、神経反応のパターンによって匂いを区別することが容易になります。

「例えば1,000人を一つの部屋に詰め込み、趣味ごとに整理しようとします」とナブラカ氏は言います。「確かに、この混雑した空間では、人々をグループ分けする方法は見つかるかもしれません。しかし、彼らをサッカー場に広げてみると、その広大なスペースで自由にデータを集め、構造化していくことができます。」

ハエの嗅覚回路がそれを達成したら、次は重複しないニューロンで異なる匂いを識別する方法を見つけ出す必要があります。これは、データを「スパース化」することによって行われます。2,000個のケニヨン細胞のうち、特定の匂いに反応して活発に活動するのは約100個（5%）だけで（活動の少ない細胞は沈黙します）、それぞれに固有のタグが付与されます。

つまり、従来の深層ネットワーク（これも視覚システムからヒントを得ている）は「学習」しながら接続の強さを絶えず変えているのに対し、嗅覚システムは一般に、投射ニューロンとケニオン細胞間の接続を調整することで自らを訓練しているようには見えない。

2000年代初頭、研究者たちは嗅覚を研究し、高次元におけるランダムな埋め込みとスパース性が計算効率にどのように役立つかを明らかにするアルゴリズムを開発しました。イギリスのサセックス大学のトーマス・ノヴォトニーとカリフォルニア大学サンディエゴ校のラモン・ウエルタという二人の科学者は、サポートベクターマシンと呼ばれる別の種類の機械学習モデルとの関連性を指摘しました。彼らは、自然システムと人工システムの情報処理方法、すなわちランダムな組織化と次元拡張を用いて複雑なデータを効率的に表現する方法は、形式的に同等であると主張しました。AIと進化は、それぞれ独立して、同じ解決策に収束したのです。

この関連性に興味をそそられたノヴォトニー氏と彼の同僚たちは、嗅覚と機械学習のインターフェースを探求し続け、両者のより深い繋がりを模索しています。2009年には、昆虫をモデルとした嗅覚モデル（当初は匂いを認識するために開発）が、手書きの数字も認識できることを示しました。さらに、脳細胞が死んでも再生されない仕組みを模倣するために、ニューロンの大部分を除去しても、性能に大きな影響はありませんでした。「システムの一部がダウンしても、システム全体は動作し続けます」とノヴォトニー氏は述べました。彼は、この種のハードウェアを、過酷な環境で動作しなければならない火星探査車などに実装することを想定しています。

しかししばらくの間、これらの発見を追究する研究はあまり行われていませんでした。ごく最近になって、より具体的な機械学習の問題を改善する方法についての洞察を得るために、一部の科学者が嗅覚の生物学的構造を再検討し始めたのです。

ハードワイヤードな知識と素早い学習

デラハント氏と彼の同僚は、ノヴォトニー氏が行ったのと同じような実験を繰り返し、蛾の嗅覚システムを基盤として、従来の機械学習モデルと比較しました。20個未満のサンプルでは、​​蛾をベースにしたモデルが手書きの数字をより正確に認識しましたが、より多くのトレーニングデータを与えると、他のモデルの方がはるかに強力で正確であることが証明されました。「機械学習手法は、大量のデータから非常に正確な分類器を生成するのが得意です。一方、昆虫モデルは、大まかな分類を非常に迅速に行うのが得意です」とデラハント氏は述べています。

学習速度に関しては、嗅覚の方がより効果的であるように思われる。なぜなら、その場合「学習」とはもはや、特定のタスクに最適な特徴や表現を探し出すことではなく、無作為に選ばれた多数の特徴の中からどれが有用でどれがそうでないかを認識することへと簡略化されるからだ。「たった1回のクリックで訓練できれば、はるかに素晴らしいと思いませんか？」と、中国南方医科大学の生物学者、フェイ・ペン氏は言う。

嗅覚戦略は、実のところ、いくつかの基本的で原始的な概念をモデルに組み込むようなものです。まるで、世界についての一般的な理解が私たちの脳にハードワイヤードされているかのように。そうすることで、構造自体は、指示なしにいくつかの単純で生得的なタスクを実行できるようになります。

その最も顕著な例の一つが、昨年、ナブラカ研究室から発表された。彼は、スティーブンス、そしてカリフォルニア大学サンディエゴ校のコンピューター科学者サンジョイ・ダスグプタとともに、嗅覚にヒントを得た、類似性に基づいた検索を行う方法を見つけたいと考えていた。YouTubeが、ユーザーが現在視聴している動画に基づいてサイドバーに動画リストを生成できるのと同じように、生物は匂いを識別する際に迅速かつ正確な比較ができなければならない。ハエは早い段階で、熟したバナナの匂いには近づき、酢の匂いは避けるべきだと学習するかもしれないが、ハエを取り囲む環境は複雑でノイズに満ちており、全く同じ匂いを再び経験することは決してないだろう。そのため、ハエは新しい匂いを検知すると、以前に経験したどの匂いに最も似ているかを判断し、適用すべき適切な行動を思い出す必要がある。

ナブラカ氏は嗅覚に基づく類似性検索アルゴリズムを開発し、画像データセットに適用しました。彼とチームは、このアルゴリズムが次元削減のみを伴う従来の非生物学的手法よりも優れた性能を示し、場合によっては2～3倍の性能を発揮することを発見しました。（これらのより標準的な手法では、物体はいくつかの基本的な特徴、つまり次元に焦点を当てて比較されていました。）また、ハエに基づくアプローチは「同等の精度を得るために必要な計算量は約1桁少ない」とナブラカ氏は述べました。「つまり、コストか性能のどちらかで勝ったのです。」

Nowotny、Navlakha、そしてDelahuntは、本質的に訓練されていないネットワークが、分類計算などの類似のタスクに既に有用であることを示した。このような符号化方式を組み込むことで、システムはその後の学習を容易にする準備が整う。例えば、ナビゲーションや記憶を伴うタスク、つまり状況の変化（例えば障害物のある経路）によってシステムが学習する時間が十分に取れない、あるいは学習に使える事例が十分にないような状況での利用が考えられる。

ペン氏と彼の同僚はまさにそのことについて研究を開始し、一連の重なり合った画像から見慣れた経路をどのように進むかを決定するアリの嗅覚モデルを作成した。

現在審査中の研究で、ナブラカ氏は、過去に何千もの類似の物体にさらされた後でも何かを新しいものとして認識する、新奇性の検出に同様の嗅覚ベースの方法を応用した。

ノヴォトニー氏は嗅覚系が混合物をどのように処理するかを研究しており、他の機械学習の課題への応用の可能性をすでに見出している。例えば、生物はある種の匂いを単一の香りとして認識し、他の匂いを混合した香りとして認識する。人は数十種類の化学物質を摂取してもバラの香りだと認識するかもしれないし、近くのパン屋から同数の化学物質を嗅ぎつけてもコーヒーとクロワッサンを区別するかもしれない。ノヴォトニー氏と彼のチームは、分離可能な匂いは同時に認識されるのではなく、コーヒーとクロワッサンの匂いが交互に非常に迅速に処理されることを発見した。

この洞察は人工知能にも役立つ可能性があります。例えば、カクテルパーティー問題は、騒がしい環境下で多数の会話を分離することがいかに難しいかという問題を指します。部屋に複数のスピーカーがある場合、AIは音声信号を非常に短い時間枠に分割することでこの問題を解決できるかもしれません。システムが1つのスピーカーからの音を認識した場合、他のスピーカーからの入力を抑制しようとします。このように交互に切り替えることで、ネットワークは会話を分離できる可能性があります。

昆虫サイボーグの登場

科学論文プレプリントサイトarxiv.orgに先月投稿された論文で、デラハント氏とワシントン大学の同僚J・ネイサン・クッツ氏は、この種の研究をさらに一歩進め、「昆虫サイボーグ」と呼ぶものを作成した。彼らは蛾をベースとしたモデルの出力を機械学習アルゴリズムの入力として用い、システムの画像分類能力の向上を確認した。「これにより、機械学習アルゴリズムはより強力な材料を活用できるようになります」とデラハント氏は述べた。「蛾の脳は何らかの異なる種類の構造を引き出しており、その異なる種類の構造が機械学習アルゴリズムの助けになるのです。」

一部の研究者は現在、嗅覚の研究も活用し、より深層ネットワークにおいて複数の学習形態がどのように調整されるかを解明したいと考えている。「しかし現時点では、そのほんの一部しか解明できていません」とペン氏は述べた。「現時点では、深層学習システムをどのように改善すればよいのか、よく分かっていません。」

出発点の一つは、嗅覚に基づくアーキテクチャの実装だけでなく、システムの入力をどのように定義するかを考えることにあるかもしれない。Science Advances誌に最近発表された論文で、ソーク研究所のタチアナ・シャーピー率いるチームは、匂いを記述する方法を模索した。画像は、一種の「視覚空間」におけるピクセル間の距離に応じて、多かれ少なかれ類似しているように見える。しかし、そのような距離は嗅覚には当てはまらない。また、構造的な相関関係も信頼できる指標にはならない。類似した化学構造を持つ匂いが全く異なるものとして認識される場合もあれば、大きく異なる化学構造を持つ匂いが似たものとして認識される場合もあるのだ。

シャーピー氏とその同僚たちは、匂い分子を自然界でどれほど頻繁に共存しているかという観点から定義しました（この研究では、様々な果物やその他の物質のサンプルにおいて、分子が共存する頻度を調べました）。そして、共活性化しやすい匂い分子同士を近づけ、共活性化しにくい匂い分子同士を離して配置することで、地図を作成しました。その結果、都市が球体（地球）上にマッピングされるのと同様に、匂い分子も双曲空間、つまり鞍のような負の曲率を持つ球体上にマッピングされることが分かりました。

シャーピー氏は、双曲線構造を持つ入力を機械学習アルゴリズムに与えることで、構造化されていない物体の分類に役立つ可能性があると推測した。「深層学習では、入力はユークリッド距離で行われるべきであるという前提があります」と彼女は述べた。「この距離を双曲線距離に変えてみることもできると思います。」おそらく、このような構造は深層学習システムをさらに最適化できる可能性がある。

共通項

現時点では、これらの多くは理論的な段階にとどまっています。ナブラカ氏とデラハント氏による研究は、嗅覚に着想を得たモデルが効果を発揮するかどうかを見極めるために、より高度な機械学習問題にスケールアップする必要があります。「これはまだ発展途上にあると思います」とノヴォトニー氏は述べました。「どこまで進展するか、これから見守っていく必要があります。」

研究者に希望を与えているのは、嗅覚系の構造が多くの種において脳の他の領域、特に記憶と方向感覚に関与する海馬や運動制御を担う小脳と驚くほど類似していることです。嗅覚は細菌の化学感覚にまで遡る古代のシステムであり、あらゆる生物が何らかの形で環境を探索するために利用しています。

「これは、私たちが一般的に大脳皮質と呼ぶものすべてにとって、進化の起源に近いようです」とマーブルストーン氏は述べた。嗅覚は学習の共通項となるかもしれない。「嗅覚系は、実に保存された構造を持っており、様々な生物において様々な用途に使われている」と、コロンビア大学の神経科学者アショク・リトウィン＝クマール氏は述べた。「そこには、学習に役立つ根本的な何かがあるに違いない」

嗅覚回路は、海馬や小脳が用いるより複雑な学習アルゴリズムや計算を理解し、そしてそうした知見をAIに応用する方法を解明するための入り口となる可能性があります。研究者たちは既に、注意や様々な形態の記憶といった認知プロセスに注目し始めており、それらが現在の機械学習のアーキテクチャやメカニズムを改善する方法となることを期待しています。しかし、嗅覚はそうしたつながりを構築するためのよりシンプルな方法を提供してくれるかもしれません。「これは興味深い接点です」とマーブルストーン氏は述べました。「次世代ニューラルネットワークについて考えるための入り口となるのです。」

WIREDのその他の素晴らしい記事

• ケリー・スレーターの人工サーフプールは本当に波を起こしている
• 補聴器メーカーがアップルの戦略を模倣
• 衝撃吸収ベッドでバスの乗り心地がさらに快適
• フォトエッセイ：ウラジミール・プーチン大統領との巨大な家族写真
• Twitterの使い方：新規ユーザーのための重要なヒント
• 次のお気に入りのトピックについてさらに深く掘り下げたいですか？Backchannelニュースレターにご登録ください。