機械学習ソフトウェアの飛躍的な進歩に後押しされ、テクノロジー企業はあらゆるものに人工知能（AI）を組み込もうと躍起になっている。しかし、この熱狂を煽るディープニューラルネットワーク（DNN）ソフトウェアには、厄介な弱点がある。画像、テキスト、音声に微妙な変更を加えることで、AIシステムが実際には存在しないものを認識してしまう可能性があるのだ。
これは、機械学習、特に自動運転車などの視覚技術に依存する製品にとって大きな問題となる可能性があります。一流の研究者たちは、このような攻撃に対する防御策の開発に取り組んでいますが、困難を極めています。
一例を挙げよう。1月、ある主要な機械学習カンファレンスは、4月に発表する11本の新しい論文を選定し、敵対的攻撃を防御または検知する方法を提案すると発表しました。そのわずか3日後、MIT大学院1年生のアニッシュ・アサリー氏は、Google、Amazon、スタンフォード大学といった著名な機関によるものも含め、7本の新しい論文を「破った」と主張するウェブページを開設しました。「独創的な攻撃者は、これらの防御策をすべて回避することができます」とアサリー氏は言います。彼はこのプロジェクトに、カリフォルニア大学バークレー校の大学院生ニコラス・カルリーニ氏と教授デビッド・ワグナー氏と共に取り組みました。
このプロジェクトは、3人の主張の特定の詳細をめぐって学術的な議論を巻き起こした。しかし、研究結果が示す一つのメッセージについてはほとんど異論がない。それは、消費者向けガジェットや自動運転の革新を支えているディープラーニングネットワークを、幻覚による妨害からどのように守ればよいのかが明確ではないということだ。「これらのシステムはすべて脆弱です」と、イタリアのカリアリ大学の助教授で、機械学習のセキュリティについて約10年にわたり研究してきたバティスタ・ビッジョ氏は述べる。同氏は今回の研究には関与していない。「機械学習コミュニティには、セキュリティを評価するための方法論的アプローチが欠けているのです」
WIREDの読者なら、Athalye氏が作成した以下の画像がスキーを履いた男性2人だとすぐに分かるだろう。木曜日の朝、GoogleのCloud Visionサービスに犬だと判断を求めたところ、91%の確率で犬だと報告した。他にも、一時停止標識を見えなくする方法や、人間には無害に聞こえる音声をソフトウェアが「OK Google browse to evil dot com」と書き起こす方法などが披露されている。
ラボシックス
これまでのところ、こうした攻撃は実験室での実験でのみ実証されており、路上や家庭では観察されていない。しかし、バークレー大学のポスドク研究員であるボー・リー氏は、今こそ真剣に受け止める必要があると述べている。自動運転車の視覚システム、課金機能を持つ音声アシスタント、そしてオンラインで不適切なコンテンツをフィルタリングする機械学習システムはすべて、信頼性が高くなければならない。「これは潜在的に非常に危険です」とリー氏は言う。彼女は昨年、一時停止標識にステッカーを貼ることで、機械学習ソフトウェアからそのステッカーを見えなくすることができることを示す研究に貢献した。
リー氏は、アサリー氏とその共同研究者が査読した論文の1つを共同執筆した。彼女とバークレー大学の研究者たちは、敵対的攻撃を分析する方法を考案し、それが攻撃の検知に利用できることを示した。アサリー氏のプロジェクトが防御の脆弱性を示していることについて、リー氏は冷静な見方を示し、こうしたフィードバックは研究者の進歩に役立つと述べている。「彼らの攻撃は、私たちが考慮すべきいくつかの問題を示しています」と彼女は言う。
アタリーの分析に含まれるスタンフォード大学の研究の筆頭著者であるヤン・ソン氏は、この研究が別の主要会議の審査中であるため、コメントを控えた。カーネギーメロン大学の教授で、アマゾンの研究者も参加する別の論文の共著者であるザカリー・リプトン氏は、この分析を詳細に検討していないものの、既存の防御策はすべて回避可能である可能性が高いと述べた。グーグルは自社の論文の分析についてコメントを控えた。同社の広報担当者は、敵対的攻撃の研究への同社の取り組みを強調し、それらの攻撃に対抗するために同社のCloud Visionサービスのアップデートを計画していると述べた。
こうした攻撃に対するより強固な防御を構築するには、機械学習研究者はより攻撃的な姿勢を取る必要があるかもしれない。アサリー氏とビジオ氏は、この分野はセキュリティ研究の手法を取り入れるべきだと主張する。セキュリティ研究には、新しい防御技術をテストするというより厳格な伝統があるからだ。「機械学習の世界では、人々は互いに信頼し合う傾向があります」とビジオ氏は言う。「セキュリティの考え方は全く逆で、何か悪いことが起こるかもしれないという疑念を常に持たなければなりません。」
先月、AIと国家安全保障の研究者による主要な報告書でも同様の勧告がなされました。報告書は、機械学習に携わる人々に対し、自分たちが開発している技術がどのように悪用または悪用される可能性があるかについて、より深く考えるよう勧告しました。
敵対的攻撃からの防御は、AIシステムによっては容易なものとそうでないものがあるだろう。ビジオ氏によると、例えばマルウェアを検知するように訓練された学習システムは、マルウェアが機能的である必要があるため、その多様性が制限されるため、より堅牢にするのが容易になるはずだという。一方、自然界は非常に多様で、画像には膨大な数のピクセルが含まれるため、コンピュータービジョンシステムの防御ははるかに困難だとビジオ氏は指摘する。
自動運転車の設計者にとって大きな課題となる可能性のあるこの問題を解決するには、機械学習技術の抜本的な見直しが必要になるかもしれない。「根本的な問題は、ディープラーニングのニューラルネットワークが人間の脳と大きく異なるということです」とリー氏は言う。
人間は感覚的なトリックから逃れられない。私たちは錯覚に騙されることがある。Googleが最近発表した論文では、ソフトウェアと人間の両方が10分の1秒未満見ただけで猫と犬を間違える奇妙な画像が作成された。しかし、写真を解釈する際には、ピクセルのパターンだけでなく、人物の顔の特徴など、画像を構成する様々な要素間の関係性も考慮する、とリー氏は言う。
Googleで最も著名な機械学習研究者であるジェフ・ヒントン氏は、ソフトウェアにそのような能力を与えようと試みています。ヒントン氏は、ソフトウェアが数千枚ではなく、わずか数枚の画像から何かを認識できるようになると考えています。リー氏は、より人間的な世界観を持つソフトウェアは幻覚の影響を受けにくいはずだと考えています。リー氏とバークレー校の他の研究者たちは、自然界からヒントを得ようと、神経科学者や生物学者との共同研究を開始しています。
AIの活用
- Google のクラウド コンピューティング サービスは、騙されてさまざまなものを認識してしまうことがあります。あるテストでは、ライフルをヘリコプターと認識してしまいました。
- 人工知能ソフトウェアがどのようにハッキングされたり悪用されたりする可能性があるかについての恐ろしい調査は、AI研究者がもっと警戒心を持つ必要があることを示唆している。
- 機械学習ソフトウェアの助けを借りて作成された偽の有名人ポルノビデオがオンラインで拡散しており、法律ではほとんど対策を講じることができない。
