ニュージーランドの攻撃が拡散するのをテクノロジーが阻止できなかった理由

2019年3月15日午後1時50分

クライストチャーチのモスク銃撃事件のビデオがFacebook、Reddit、Twitter、YouTubeに投稿され、ソーシャルメディアのモデレーションの限界を浮き彫りにした。

金曜日、ニュージーランドのクライストチャーチにある2つのモスクで少なくとも49人が殺害されました。これは、ソーシャルメディア時代のテロリズムの暗黒の手口を体現した事件です。犯人はTwitterと8chanで警告を拡散した後、Facebookで17分間、胸が張り裂けるような暴動の様子をライブ配信していました。ほぼ瞬く間に、人々はReddit、Twitter、YouTubeなどインターネット上で動画をコピー・転載しました。報道機関も、発生した破壊行為を報じる中で、一部の映像を放映し始めました。

シリコンバレーの幹部たちが金曜日の朝目覚めた頃には、巨大テック企業のアルゴリズムと国際的なコンテンツモデレーション部隊はすでに被害の封じ込めに奔走していた――しかし、その効果は限定的だった。銃撃事件発生から数時間後、YouTubeでは銃撃犯の名前などの基本的なキーワードを使って、様々なバージョンの動画が容易に検索可能だった。

このようなパターンが見られるのは今回が初めてではありません。バージニア州で2人の報道記者がカメラの前で射殺され、犯人の一人称視点の動画がFacebookやTwitterで拡散されてから、ほぼ4年が経ちました。また、ダラスで発生した銃乱射事件の映像が拡散されてから、ほぼ3年が経ちました。

クライストチャーチの銃乱射事件を受けて、なぜこれほどの時間が経ったにもかかわらず、テクノロジー企業が未だにこうした動画の拡散を阻止する方法を見つけられないのかと疑問に思う人もいる。答えは、残念ながら単純なものかもしれない。それは、思っているよりもずっと難しいのだ。

自動モデレーションシステムは完璧ではないものの、効果的である場合もあります。例えばYouTubeでは、動画の大部分が自動化によって削除されており、自動的にフラグ付けされた動画の73%は、誰にも見られる前に削除されています。

しかし、ライブ映像やニュースで放送される映像となると、状況は大幅に複雑になります。クライストチャーチ銃乱射事件の映像は、その両方の条件を満たしています。

「Facebookは世界で最も資金力のある業界であるにもかかわらず、この種のコンテンツを積極的に抑制できる効果的なAIを導入するまでには至っていない」と、ハーバード大学ケネディスクールの研究員で、かつてFacebookのプライバシー・ポリシーチームに所属していたディパヤン・ゴッシュ氏は語る。これが、FacebookとYouTubeが世界中のコンテンツを審査する人間のモデレーターチームを擁している理由の一つだ。

マザーボードは、Facebookのコンテンツモデレーターがユーザーからフラグが付けられたライブ動画をどのように審査しているかについて、啓発的な記事を掲載しています。マザーボードが入手した内部文書によると、動画がフラグ付けされると、モデレーターはそれを無視するか、削除するか、5分後に再度確認するか、専門の審査チームにエスカレーションするかを選択できます。これらの文書によると、モデレーターはライブ動画内で「泣き声、懇願、物乞い」や「銃やその他の武器（ナイフ、剣など）の映し出しや音」といった警告サインにも注意するよう指示されています。

クライストチャーチの動画がなぜ17分間も再生できたのか、あるいはFacebookにとってそれが短い時間枠に該当するのかどうかさえ不明だ。同社は当初、WIREDのこの件に関する問い合わせや、Facebookがニュース価値のあるコンテンツと不必要な暴力描写をどのように区別しているのかという質問には回答しなかった。

この記事の公開後、Facebookは今回の銃撃事件の動画の取り扱いについて、さらに詳しい説明を行いました。広報担当者は、「事件発生以来、Facebook全体のチームは24時間体制で報告に対応し、コンテンツをブロックし、当社の基準に違反するコンテンツを積極的に特定し、救急隊員や法執行機関を支援してきました」と述べています。「発見した動画はすべて社内データベースに追加し、再アップロードされた際に動画のコピーを検知・自動削除できるようにしています。すべての事例を報告していただくようお願いいたします。これにより、当社のシステムが当該動画の再発をブロックできるようになります。」

これは、元の動画がハッシュ化され、類似の動画が再び共有されないようにすることを意味します。検出を回避するために改変された動画（例えば、セカンドスクリーンで再生されている映像など）を検出するため、Facebookは流血や残酷なシーンの検出に使用するのと同じAIと音声検出技術を導入しています。Facebookによると、他のプラットフォームへのリンクからこのようなコンテンツが見つかった場合、その情報を該当の企業と共有しています。

Facebookの広報担当者は以前の声明で、「犠牲者の方々、ご家族、そしてこの恐ろしい事件の影響を受けた地域社会の皆様に心からお見舞い申し上げます」と述べました。「ライブ配信開始直後、ニュージーランド警察からFacebook上の動画の存在を知らされ、私たちは直ちに銃撃犯のFacebookアカウントとInstagramアカウント、そして動画を削除しました。また、事件や銃撃犯を称賛したり支持したりする投稿も、確認次第削除いたします。ニュージーランド警察による対応と捜査が続く中、私たちは引き続き警察と直接協力していきます。」

Googleのニュージーランド広報担当者も、WIREDの質問に対し、同様の声明を発表した。「この悲惨な悲劇の犠牲者の方々に心よりお見舞い申し上げます。ショッキングで暴力的、あるいは生々しいコンテンツは、当社のプラットフォームには掲載すべきではありません。そのようなコンテンツは、確認次第削除いたします。他の大きな悲劇と同様に、当局と協力して対応してまいります。」

しかし、Googleの担当者は、銃撃事件に関するニュース価値のある動画は引き続き掲載されると付け加えた。これにより、同社はどの動画が本当にニュース価値があるのかを判断しなければならないという難しい立場に立たされることになる。

テクノロジー企業にとって、児童ポルノの削除に使われるフィンガープリンティング技術などを用いて、銃撃事件のあらゆる動画の投稿を強制的に禁止する方がはるかに容易でしょう。これは検討に値するアプローチだと主張する人もいるでしょう。しかし、FacebookとYouTubeはどちらもコンテンツモデレーションポリシーにおいて、報道機関に対して明確な例外を設けています。つまり、あるYouTubeアカウントで銃撃事件を美化することを目的とした同じ動画が、地元ニュース系列局のニュースにも掲載される可能性があるのです。

特にYouTubeは、研究者が参考にしていたシリアにおける残虐行為の動画を削除したことで、過去に批判を受けています。そのため、テクノロジー企業は、ニュース価値を評価するだけでなく、その評価を大規模に自動化する方法を模索するという難しい立場に置かれています。

Googleの法務顧問ケント・ウォーカー氏は2017年のブログ記事で、「機械は問題のある動画の特定に役立ちますが、暴力的なプロパガンダと宗教的または報道価値のある発言の境界線に関する微妙な判断には、依然として人間の専門家が役割を果たしています」と述べている。

もちろん、ハーバード大学のゴーシュ氏によると、これらの企業が動画の出所や目的を判断するために利用できるシグナルは存在する。「コンテンツのタイミング、コンテンツ提供者が過去にどのようなコンテンツを発信してきたかという歴史的指標。これらは、報道機関と個人が同じコンテンツを発信しているが、報道機関にのみ発信してほしいという避けられない状況に遭遇したときに活用すべきシグナルです」と彼は言う。

ゴーシュ氏は、テクノロジー企業がこの点で改善を図れない理由の一つは、具体的なインセンティブが欠如しているからだと主張する。「コンテンツモデレーションの仕組みを改善するよう企業に強制する手段がないのです」。昨年、欧州委員会の規制当局は、過激派コンテンツを1時間以上オンラインに放置するプラットフォームに罰金を科すという提案を提示した。

最後に、規模の問題が永遠に続く。YouTubeとFacebookはどちらも、管理するには規模が大きすぎる可能性がある。クライストチャーチの動画がYouTubeの削除速度を上回るペースで投稿されているのであれば、YouTubeは問題に対処するまで動画のアップロードをすべて停止すべきだという意見もある。しかし、その間にどんな声が沈黙させられるかは分からない。欠点はあるものの、ソーシャルプラットフォームはニュース報道の際に貴重な情報源となり得るからだ。さらに、FacebookとYouTubeが凶悪な投稿が拡散するたびに運営を停止したら、二度と再開できないかもしれないという悲しい現実もある。

もちろん、これらすべては、まさに犯人の戦略です。つまり、人間の行動と、それに追いつけないテクノロジーの無力さを利用して、自分の恐ろしい遺産を確固たるものにするという戦略です。

トム・シモナイトがレポートに貢献した。

2019年3月15日午後4時12分更新：このストーリーは、Facebookからの追加の詳細を含めるように更新されました。

WIREDのその他の素晴らしい記事