ニューラルネットワークの「ブラックボックス」内部

Google Brainの研究員、シャン・カーター氏は最近、娘の2年生のクラスに珍しい仕掛けを持って訪れた。それは、不明瞭な形や歪んだ色の風車が描かれたサイケデリックな絵の羅列だった。カーター氏はそれらをクラス全員に回した。生徒たちがすぐにその中の1つを「折り目」だと認識した時、彼は大喜びした。7歳児のグループが、ニューラルネットワークの内なるビジョンを解読したばかりだったのだ。

カーター氏は、ディープラーニングの「ブラックボックス」を突破しようとしている研究者の一人です。ニューラルネットワークは画像内の物体識別などのタスクにおいて非常に優れた成果を上げていますが、その仕組みは依然として大部分が謎に包まれています。その内部の仕組みは人間の目からは見えず、計算の層に埋もれているため、エラーやバイアスの診断が困難です。水曜日に、カーター氏のチームは、ニューラルネットワークがどのように視覚概念を構築し、配置するかを示す論文を発表しました。

この研究の流れは2015年に遡ります。当時、カーターの共著者であるクリス・オラーは、ニューラルネットワークをリバースエンジニアリングすることで解釈を試みるプログラム「Deep Dream」の設計に携わっていました。オラーのチームは、膨大な画像データベースであるImageNetを用いて、ニューラルネットワークに様々な物体を認識させるように学習させました。そして、ネットワークに「学習」した内容に基づいて、例えば犬や木を生成するように指示しました。その結果、モデルが入力をどのように「見た」かを限定的に反映した、幻覚的な画像が生まれました。（後に、このシステムはかなり高価な芸術作品も生み出せることが判明しました。）

それ以来、現在はAI解釈を専門とする研究機関OpenAIのチームを率いるオラー氏は、こうしたタイプの視覚化をより有用なものにする取り組みを続けてきた。ニューラルネットワークは、研究者がニューロンと呼ぶ層の集まりで、画像の特定の部分に反応して発火する。ネットワークの各層で、カーター氏とオラー氏は、ほぼ同じ組み合わせのニューロンを発火させる画像の断片をグループ化した。次に、ディープドリームの場合と同様に、研究者たちはニューロンを実際に発火させたであろう画像を再構築した。低レベルでは、漠然としたピクセルの配置を生成し、高レベルでは、犬の鼻先やサメのヒレの歪んだ画像を生成する。彼らは同様のグループを互いに近くに配置して、結果として得られたマップを「活性化アトラス」と呼んだ。

これにより、研究者はネットワークについていくつかの点を観察できます。異なるレイヤーを切り替えることで、形状や質感といった基本的な視覚概念から個別の物体に至るまで、ネットワークが最終的な決定に向けてどのように構築されていくかを見ることができます。例えば、オラー氏は犬の品種（ImageNetには100種類以上が含まれています）は、耳の垂れ具合で大きく区別できることに気付きました。このアトラスはまた、ネットワークが異なる物体や概念をどのように関連付けているか（例えば、犬の耳と猫の耳をあまり離さずに配置するなど）を示しており、レイヤーが進むにつれてそれらの区別がより明確になる様子も示しています。

ワイオミング大学のジェフ・クルーン教授（この研究には関与していない）は、このアトラスは有益な前進ではあるものの、現時点では用途が限定的だと述べている。ニューラルネットワークの機能解明を目指す研究者たちは、ネットワークがより複雑化し、より膨大な計算能力を必要とするようになったため、勝ち目のない戦いを強いられているとクルーン教授は指摘する。「これまでの計算能力の増大は、それを解釈可能にする技術を開発する私たちの能力をはるかに上回っています」と彼は言う。

研究は驚くべき事実も明らかにした。オラー氏は例として、濁った海を切り裂くヒレの不気味な写真を提示した。これはコククジラのものか、それともホホジロザメのものか？釣りの経験が浅い人間である私には推測はできないが、サメやクジラのヒレを数多く見てきたニューラルネットワークなら、問題ないはずだ。次に彼は、ニューラルネットワークの特定のレベルで2種類の動物に関連付けられたアトラス画像を見せてくれた。これは、ニューラルネットワークが2種類の動物に関連付けるよう学習した視覚概念の大まかな地図だ。サメの画像の1つは特に奇妙だ。少し目を細めれば、白い歯と歯茎の列、あるいは野球ボールの縫い目が見えるかもしれない。

彼らが研究したニューラルネットワークは、視覚的なメタファーにも長けており、システムを騙すための安易なトリックとして利用できることが判明した。カーターとオラーは、ヒレの写真を操作することで、例えば野球ボールの切手サイズの画像を片隅に配置することで、ニューラルネットワークにクジラをサメだと簡単に信じ込ませることができることを発見した。

オラー氏によると、この手法が人間の妨害工作員によって使用される可能性は低いという。より容易で巧妙な方法でそのような混乱を引き起こす方法があるからだ。いわゆる「敵対的パッチ」と呼ばれるものを自動生成し、ネットワークを混乱させて猫をワカモレのボウルだと思わせたり、自動運転車に一時停止標識を誤読させたりすることもできる。

しかし、人間がネットワークの深層部について十分に学習し、実質的にそれを操作できるという事実に、彼は刺激を受けている。ニューラルネットワークを詳しく調べることで、最終的には混乱や偏見を特定し、場合によっては修正できるようになるかもしれないと彼は言う。ニューラルネットワークは一般的に静止画像内の物体を分類するのに優れているが、誤りはよくある。例えば、異なる人種の人間を人間ではなくゴリラと識別してしまうなどだ。彼のような視覚化ツールがあれば、研究者はネットワークを詳しく調べ、どのような無関係な情報や視覚的な類似性が誤りを引き起こしたのかを調べることができる。

とはいえ、ニューラルネットワークの真髄を解明しようとする試みにはリスクが伴う。「解釈可能性に関する研究では、しばしば、自分が騙されているのではないかという不安がつきものです」とオラー氏は言う。そのリスクとは、私たちが馴染みのある視覚的概念を押し付けようとしたり、納得のいく簡単な説明を求めたりしてしまうことだ。

AIの先駆者であるジェフ・ヒントン氏をはじめとする一部の人々が、AIの行動の理由を説明する際に人間の解釈に過度に依存することに対して警鐘を鳴らしているのは、まさにこのためです。人間が脳がどのように意思決定を行うのかを説明できないのと同様に、コンピューターも同じ問題に直面しています。ヒントン氏がWIREDの最近のインタビューで述べたように、「AIに意思決定の説明を求めるということは、AIに物語をでっち上げることを強いているようなものです。」

WIREDのその他の素晴らしい記事