デリル・スレイマン/AFP/ゲッティイメージズ
あらゆるオンラインプラットフォーム上でイスラム国のプロパガンダを自動的に検知しブロックするために開発された人工知能システムは、同組織のメディア戦略の変更によって回避される可能性があると、ある専門家が警告した。
内務省が本日発表したこのツールは、ISISの公式プロパガンダの94%を99.995%の精度で検出できるとされている。しかし、このツールはISISの中央および地方のメディア組織が制作した動画のみを対象としているため、ISISがこれを回避できる可能性は高い。
「おそらく、イスラム国が使用するフォーマットを変え、ロゴを変え、使用するサウンドトラックにもっと注意を払うだけで、私たちは振り出しに戻ることになるだろう」と国際過激化研究センターの上級研究員チャーリー・ウィンター氏は言う。
イスラム国の動画のブランディングは一枚岩的だと彼は続ける。同じ構成、同じサウンドトラック、同じアイコン、同じロゴが使われているのだ。これにより、アルゴリズムがこのシグネチャーに一致する動画を検出してブロックすることが可能になる一方で、そのようなシステムがイスラム国のプロパガンダの変化に対してどれほど効果的であるかという疑問も生じる。
しかし、このシステムを開発しているロンドン拠点の機械学習スタートアップ企業ASIは、ISISにとってそのような変更は困難であると主張している。「ISISにとって変更が非常に困難なプロパガンダの特徴を特定するために、私たちは非常に慎重に検討を重ねてきました」と、ASIのデータサイエンスコンサルティング責任者であり、このプロジェクトの技術リーダーであるジョン・ギブソン氏は述べている。「これは私たちが深く検討してきたことであり、このシステムがうまく機能するためには、脅威の進化に合わせて適応し、常に最新の状態を維持できる必要があることは明らかです。」
このシステムはウェブサイトのバックエンドに常駐し、すべての動画アップロードを自動的にスキャンしてISISのプロパガンダの兆候を探します。「新しい動画が公開されるたびに、モデルがそれを捉える可能性が非常に高く、その後、人間の審査員がISISのプロパガンダ動画のように見えることを確認します」とギブソン氏は述べています。システムに新しい動画が登録された場合、それらはトレーニングデータに追加され、モデルの適応と学習を促進します。内務省によると、このシステムは1,000本以上のISISプロパガンダ動画でトレーニングされており、過激化の拡大を阻止するためにテロ組織が利用する小規模なウェブサイトにも提供される予定です。
Google にとって効果的なもの...
GoogleとFacebookは、自社のプラットフォームからISISのプロパガンダを広範囲に排除するために高度な人工知能システムを開発しているが、内務省がこの新システムで目指しているのは、同じ技術をすべてのプラットフォームで利用できるようにすることだ。ISISは2017年にプロパガンダをアップロードするために400ものプラットフォームを利用したと報じられており、7月から年末までだけで145もの新たなプラットフォームが利用された。政府は高度な検出ツールを無料で提供することで、拡散を根絶したいと考えている。
ASIによると、このシステムは最大規模のプラットフォームでも管理可能なように微調整されており、誤検知率は0.005%に調整されているという。「YouTubeのような超大規模プラットフォームでこれが何を意味するのか、ざっくり計算してみました。誤検知率が0.005%ということは、1日に約500万本の動画がアップロードされている場合、1日に約250本の動画にフラグが立てられることを意味します。これは人間のレビュー担当者にとってほぼ限界と言えるでしょう」とギブソン氏は語る。
しかし、この妥協案には問題が潜んでいます。誤検知率が低いのは良いことですが、検出率がわずか94%だと、ISISのプロパガンダ動画の6%が見逃されてしまうことになります。「退屈な仕事ですが、それらをざっと確認して、真の誤検知がウェブサイトに表示されているか確認するのは、たった1人の人間で済むでしょう」とギブソン氏は言います。「私たちは誤検知のパフォーマンスに合わせてモデルを最適化しましたが、この数値はかなり良いと思っています。」
このシステムの開発には「水面下で膨大な量の機械学習が関わっていました」と彼は付け加える。「膨大な数の異なるモデルを作成し、それらはすべて並行して動作し、相互に作用しています。」システムの仕組みの詳細は、セキュリティ上の理由から公表できない。ASIのSherlockMLプラットフォームを採用したこのシステムは、内務省が責任あると認めるパートナーに無料で提供され、ASIは当面の間、このサービスを維持する。
続きを読む：イスラム国のプロパガンダ組織の崩壊の内幕
ASIの共同創業者兼CEO、マーク・ワーナー氏によると、機械学習アルゴリズムは、内務省がISISが制作した最も危険な動画と見なしている動画で訓練されたという。「これらは内務省が最も削除すべき重要動画であり、過激化能力の点で最も有害だと考えている動画です」とワーナー氏は語る。「彼らにとって重要なのは、動画の数ではなく、特定の動画セットに対処することがどれほど効果的だと考えているかです」。ワーナー氏によると、作業は2017年9月に開始され、内務省はASIに対し、「特定の動画セット」を自動的にフラグ付けできるシステムの開発を依頼したという。ウィンター氏は、ISISが「非常に正確な反復構造とモチーフのセット」に執着していることは、「アルゴリズムが容易に理解できる」類のものだろうと主張する。
しかし、ウィンター氏はISISのプロパガンダの規模は、そのようなシステムが対応できる範囲をはるかに超えていると警告している。「彼らのプロパガンダの大部分は、写真、雑誌、ラジオ放送、音声声明といった形をとっています」とウィンター氏は説明する。「これはいかなる問題の解決策にもなりません。そもそも、この問題に解決策はありません。せいぜいいくらか緩和することはできるでしょうが、解決策には程遠いのです。」
実装の問題
政府の発表は、アンバー・ラッド内務大臣がサンフランシスコを2日間訪問する中で行われた。ラッド内務大臣は、キルステン・ニールセン米国土安全保障長官と、オンライン上のテロ関連コンテンツへの最善の対策について協議する予定だ。このシステムは導入準備が整っているものの、発表では導入予定のサイトについては言及されていない。
ウィンター氏は、イスラム国がプロパガンダの配信に利用している主要プラットフォームであるインターネット・アーカイブを大きな障害の一つとして指摘する。「インターネット・アーカイブはこのソフトウェアを使い始めるのでしょうか？ ここ数年の運営状況から判断すると、コンテンツの削除に消極的のようです」と彼は付け加える。このようなシステムは「広く導入」されなければ機能しないため、事実上イスラム国はプロパガンダの発信源をほとんど失ってしまうことになると彼は付け加える。
ウィンター氏は、ISISの中央および地方のメディアチームが制作するプロパガンダを標的とすることが、オンライン上の過激化を阻止する最善の方法であることに同意する一方で、膨大な量の動画やその他のコンテンツがASIのシステムでは捕捉されないだろうと警告した。「彼らは、必ずしも直ちに危険ではない他の多くのコンテンツも見逃してしまうだろう」
ASIはISISシステムの展開を支援するだけでなく、アルカイダのプロパガンダを見抜くための同様のアルゴリズムの開発にも取り組んでいる。「プロパガンダは、微妙な点と明らかな点において異なるものになるでしょう」とギブソン氏は語る。「しかし、全体的な技術と一般的なアプローチは、近い将来、アルカイダにも転用される可能性が高いでしょう。」彼は、新しいアルゴリズムは「今後数ヶ月」以内に完成すると見積もっている。
ウィンター氏は、機械学習アルゴリズムをISISのプロパガンダに訓練することは技術的には可能だが、アルカイダのメディア活動はより複雑だと主張する。「アルカイダのプロパガンダははるかに多様で、巧妙でもある」と彼は述べ、さらに、同組織はブランド化にそれほど執着していなかったため、そのプロパガンダを見抜くのがより困難だったと付け加えた。
2018年2月13日更新：この記事では当初、ASIのシステムはアマク通信社の資料に基づいて学習していないと述べていましたが、これは事実ではありません。
この記事はWIRED UKで最初に公開されました。
