巨大テック企業のテロ対策グループにおける2年間の混乱の内幕

2023年3月、Meta、YouTube、Twitter、Microsoftの副社長らがZoomで集まり、各社の最も恐ろしいライバルの1つであるTikTokを自社の限定クラブに受け入れるかどうかを議論した。

4人の幹部は、テロ対策のためのグローバルインターネットフォーラム（GIFCT）の理事会を構成していた。GIFCTは、企業が自社のプラットフォームをテロリストの温床とすることを防ぐためのヒントを共有する場だ。彼らは、TikTokが過激派のプロパガンダをプラットフォームから排除するために支援を必要としていることを認識していた。TikTokはGIFCTが義務付けた研修プログラムに合格し、中国とのつながりに関する疑問にも答えていた。しかし、議論の経緯を知る関係者によると、理事会は依然として、TikTokが会員資格を悪用し、中国政府に利益をもたらし、表現の自由を損なう可能性を懸念していたという。さらに、当時、米国議会はTikTokの禁止を検討しており、TikTokのコンテンツモデレーションに関するさらなる問題が浮上すれば、批判はさらに高まると予想された。最終的に理事会はTikTokを承認しなかった。

WIREDによるGIFCTの調査によると、TikTokのコンソーシアム参加申請は、理事会の幹部4人のうち2人が棄権したため、却下された。1週間後、ニュージーランドのクライストチャーチで発生した死者を出したテロ攻撃から4周年を迎えたこの日、研究者たちはTikTokがテロ攻撃を称賛する動画を配信していることを強く非難した。これらの動画は、TikTokのライバル企業がTikTokに脅威検知技術へのアクセスを許可していれば、簡単にフラグ付けされ削除できたはずのものだった。

同じ頃、取締役会はPornHubの親会社であるPornHubの会員資格を却下した。同社のコンテンツポリシーが会員資格の基準を満たしているかどうかが懸念されるからだ。対照的に、取締役会は昨年、問題のないフランスのソーシャルアプリYuboを迅速に承認した。Yuboの最高執行責任者（COO）であるマーク＝アントワーヌ・デュラン氏によると、GIFCTのきめ細やかなアドバイスにより、Yuboは50件の疑わしいアカウントを特定し、法執行機関に通報することができたという。

最近では、Meta、Microsoft、YouTubeは、権限があるにもかかわらず、Twitter（現X）を理事会から追放することを拒否しました。これは、イーロン・マスク氏の下でTwitterがコンテンツモデレーションの慣行を緩め、GIFCTをはじめとする加盟企業の評判に悪影響を与える恐れがあったにもかかわらずです。今月、Xはひっそりと自主的に理事会を脱退しました。

WIREDが初めて明らかにしたこれらの秘密主義的な加盟決定は、Microsoft、Meta、YouTube、Xがいかにして反テロリズムガイドラインへのアクセスを門番のように管理し、ユーザーがウェブ上で目にするコンテンツに影響を与えているかを示しています。私たちの調査では、4社による物議を醸す資金調達方法の選択や、暴力的過激主義をフラグ付けする定評あるシステムにおける品質管理チェックの欠如が招く結果も明らかにしています。

コンソーシアムの内部事情を理解するため、WIREDはGIFCTの内部審議記録を精査し、幹部、スタッフ、アドバイザー、パートナーなど、組織に直接関係する26人に話を聞いた。関係者の何人かは、Meta、Microsoft、YouTube、Xがコンソーシアムの潜在能力を損なうような形でコンソーシアムを導いてきたと考えている。「その結果、より多くのユーザーが過激化しているのはほぼ間違いない」と、設立当初からGIFCTと継続的に連絡を取り合ってきた情報筋の一人は主張する。関係者の多くは、雇用主やGIFCTがWIREDの取材を許可しなかったため、匿名を希望した。

4社の巨大テック企業は、2016年に設立を発表して以来、このコンソーシアムを主導してきた。当時、西側諸国政府は、ジャーナリストや人道支援活動家が斬首される残酷な動画をイスラム国が投稿することを許したとして、4社を非難していた。現在、8人のスタッフを擁するGIFCTは、児童虐待や性的画像の違法取引など、オンライン上での個別の被害に対処するために、競合するテック企業が協力するための団体の一つである。GIFCTは、2019年のクライストチャーチ銃乱射事件後、理事会が米国の非営利団体として設立した。

これらの取り組みは、一部の望ましくないコンテンツを削除するのに役立ち、企業がその取り組みを明示することで煩雑な規制を回避するのに役立つ可能性がある。しかし、コンソーシアムの運営に関わる政治的駆け引きは、概して秘密にされている。

GIFCTの25の会員企業のうち、WIREDのコメント要請に応じたのはわずか8社だった。Meta、Microsoft、YouTubeを含む回答企業は、いずれも価値あるグループの一員であることを誇りに思うと述べた。同コンソーシアムのエグゼクティブディレクター、ノーリーン・チョウドリー・フィンク氏は、WIREDの報道に異議を唱えなかった。彼女によると、TikTokは現在も会員資格取得手続き中だという。

GIFCTは、会員からの自主的な寄付によって年間約400万ドルを賄っており、その費用は給与、研究費、旅費に充てられています。公開されている書類によると、2020年から2022年にかけて、Microsoft、Google、Metaはそれぞれ少なくとも400万ドル、Twitterは60万ドルを寄付しました。他にも数万～数十万ドルを寄付した企業もありましたが、ほとんどの企業は寄付を行っていませんでした。

昨年までに、少なくとも2人の理事が、自分たちがただ乗りしている企業に激怒し、非営利団体の職員の間では職を失うかもしれないという不安が広がっていた。マスク氏が約1年前にTwitterをXに転換した際、GIFCTへの任意の小切手支給を停止するなど、コスト削減を続けたことにも、事態は悪化したと、事情を知る2人の関係者は述べている。

資金調達の多様化を図るため、理事会は財団への資金提供を募り、非中核プロジェクトについては政府からの助成金獲得も検討することを承認した。「本当に理にかなっているかどうか、慎重に検討する必要があります」とチョウドリー・フィンク氏は言う。「しかし、複数のステークホルダーと協力することが有益な場合もあります。」

同団体が非公式に相談した人権活動家たちは、これが巨大IT企業への補助金に当たるのではないかと疑問を呈した。そうなれば、より強力な反過激主義プロジェクトから資金が流出する可能性があるからだ。しかし、記録によると、職員らは親イスラエル慈善団体「ニュートン・アンド・ロシェル・ベッカー慈善信託」から数万ドル以上の助成金の申請を検討していた。チョウドリー・フィンク氏によると、GIFCTは結局申請しなかったという。

今年、Meta、YouTube、Microsoft、XはGIFCTの定款を改正し、2025年から全会員に最低年次寄付を義務付けたが、Chowdhury Fink氏は免除も可能だと述べている。

彼女によると、有料会員は取締役会の2議席に投票できる。取締役会の資格を得るには、より多額の寄付を行うことが条件となる。2人の情報筋によると、Xは寄付金を支払わないため、取締役会の議席を失う意向を示していたが、それが今月になって現実のものとなった。Xは2025年に4社による取締役会の決着権を持つ予定だった。（定款によれば、Meta、YouTube、Microsoftは、マスク氏がTwitterを買収した直後にTwitterを取締役会から排除できた。しかし、3社は権限を行使しなかった。）

WIREDの取材に応じたGIFCTに近い関係者の多くは、Xがプラットフォーム上で過激派による違法行為（武器販売など）を公然と容認しているとされ、Meta、YouTube、MicrosoftはXを完全に排除すべきだと主張している。ニューヨーク・タイムズ紙は先月、X追放を求める声について報じた。

GIFCTの「技術ソリューション」行動規範の公開版は、「運用上のセキュリティ」のために大部分が編集されているものの、「継続的な不適切な行動」を理由に企業がアカウントを停止される可能性があると明記されている。同コンソーシアム自身も、「メンバーシップは、インターネットとそのユーザーに対する良き管理の強い証として認識され、評価されるべきである」と述べている。Xは今月、今年上半期に暴力的および憎悪的な団体に関するポリシーに違反したとして5万7000件以上のアカウントを停止したと発表した。コメント要請には応じなかった。

GIFCTを運営する4社は、同組織の最も目立った機能の一つである危機対応において、極めて重要でありながらあまり検証されていない役割を果たしてきた。同組織は、画像、動画、テキストファイルを短く明確なコードに変換するコンピュータスクリプトといった技術を用いて、問題のあるコンテンツのハッシュ値を、GIFCTのスタッフが運営しMetaサーバー上にホストされているデータベースにアップロードする。メンバーは、データベース内の数百万ものハッシュ値を自身のサービス上のコンテンツのハッシュ値と比較し、一致する投稿が削除すべき投稿を反映している可能性があると合理的に判断できる。

2022年初頭、ニューヨーク州バッファローのスーパーマーケットでTwitchでライブ配信中の銃撃犯が10人を射殺した後、加盟企業の従業員がGIFCTが主催するSlackコミュニティに情報共有のための警告を発しました。GIFCTのスタッフはこのメッセージを確認すると、YouTube、Meta、Twitter、Microsoftに連絡を取り始めました。少なくとも3つの加盟企業は、同グループの最も深刻な脅威警報の発令に同意する必要があり、最終的に銃撃事件の約2時間後に3度目の同意を得ました。

委員会がバッファローの事件について警鐘を鳴らしてから26時間近く経ち、メンバーは銃撃事件に関する約870件の問題のある動画や画像のハッシュタグを投稿しました。その後、GIFCTはフリーランスの研究者を雇い、人々が熱烈にリポストしそうな銃撃犯の声明文の一部を網羅した数千のハッシュタグを提供しました。

企業は、ハッシュの共有が複雑なモデレーションの分野に効率をもたらしたと主張している。巨大なメディアファイルの交換に伴う費用やユーザーのプライバシー侵害の可能性を回避するだけでなく、連携によってコンテンツの拡散が抑制不可能になる前に減速できるとも言える。

しかし、YouTube、Meta、Twitter、Microsoftのリーダーシップの下、GIFCTは透明性をほとんど確保しておらず、企業が非暴力的なコンテンツを誤って削除することを防ぐための安全策もほとんど導入していない。25のメンバーのうち、ハッシュマッチの結果として削除されたコンテンツの量を公表している団体はなく、ましてやそれらの削除のうちユーザーから異議申し立てがあった件数を明らかにしていない。データベースへのハッシュの追加を報告しているのはYouTubeのみで、昨年は約4万5000件だった。GIFCTは、どれだけのハッシュが自らのスタッフによって追加されたのか、研究者や政府からの情報提供によって追加されたのか、また外部からのハッシュをどの程度抜き打ちでチェックしているのかについては明らかにしていない。

現在どの企業がデータベースを利用しているのかさえ公表されていません。昨年時点でアクセスできたのはわずか13社でした。ハッシュを共有したり、一致に基づいて行動を起こしたりする前に、自動化に頼るのではなく、手作業でコンテンツをレビューしている企業がどれだけいるのか、グループには把握されていません。「そういう点をもう少し詳しく調べたいと思っています」と、GIFCTに最近就任した技術政策・ソリューション担当ディレクターのスキップ・ギルモア氏は言います。

この技術コンソーシアムは、無害なコンテンツがデータベースに保存されることは稀だと主張している。しかし、委員会は、不備が確認されているにもかかわらず、外部監査を許可したり、包括的な内部調査を命じたりしていない。

2022年、あるソーシャルメディア企業が、データベースのハッシュ2つが、自社サービス上のミュージックビデオの数千件のコピーと一致していることに気づきました。問題の曲は？WIREDは、リック・アストリーのポップチューンで、愛と愛情をテーマにしたいたずらミームとなった「Never Gonna Give You Up」であることを突き止めました。GIFCTは以前、曲名を伏せながらこの失態を公表していました。そもそもなぜ他社がこの曲を提出したのかは明らかにしていません。GIFCTの会員・プログラムディレクターであるエリン・ソルトマン氏は、「テスト」や「サンプルハッシュ」が原因となる場合もあると述べています。

2022年に複数のメンバーが行った小規模な監査でも、無効な投稿が報告されましたが、技術コンソーシアムはその数を公表しませんでした。しかし、新しい投稿が追加される一方で、それらの投稿を削除した結果、データベースのハッシュ数は約18か月前の230万から、同年10月には210万に減少しました。

今年、オーストラリアのeSafetyコミッショナー（内務省の担当官はGIFCTの正式な顧問）は、Google、Meta、Xに対し、テロ対策活動に関する詳細情報の提出を要求した。調査結果は最終的に公表される見込みだ。「これらの巨大IT企業が導入しているシステム、プロセス、そしてリソースに関する多くの根本的な疑問に対する答えは、私たちには分からない」とeSafety事務局は述べている。

Meta、YouTube、Microsoft、Xによるテロ対策フォーラムの運営方法を批判する一部の人々は、これらの企業には正当な言論を保護し、暴力を扇動するヘイト行為をより効果的に抑制するための戦略が既に備わっていると指摘する。GIFCTはコンサルティング会社BSRに人権影響評価を委託し、2021年に公表された。評価では47項目の変更が勧告されているが、その多くはまだ理事会によって実行されていない。

評価者たちは、TikTokなど具体的な企業名を挙げずに、人権侵害を最小限に抑えるための「適切な措置を講じた上で」、リスクの高い米国外企業の加盟を承認することを提案した。これは、GIFCTが過激主義と闘う上で「より有利な立場」を築くことになるからだ。また、メンバーが人間によるレビューなしにハッシュを投稿することを禁止するよう勧告した。さらに、創設メンバー4名のみで構成される理事会は「持続可能なモデルではない」と述べ、活動家や学者が理事の半数を占めることを提案した。

GIFCTには2020年に設立された独立した諮問委員会もあるが、Meta、YouTube、Microsoft、Xは必ずしもその提言を実行してきたわけではない。当時のGIFCT事務局長は、アドバイザーたちをコンソーシアムの良心と称した。しかし、委員会を構成する約20名の教授、人権活動家、そして政府関係者の中には、無視されていると感じている者もおり、今年に入って数名が「静かに辞任」した。「私たちには本当の力はありません」と、諮問委員会で表現の自由を訴えるコートニー・ラドシュ氏は言う。「[GIFCT]は、テクノロジーの自主規制がいかに効果的で不十分であるかを示す、またしても例です。これらのプラットフォームで実際に起こっている不正行為に対処するには、説明責任と透明性を備えた、より実効性のあるガバナンス構造が必要です。」

現事務局長のチョウドリー・フィンク氏は、アドバイザーからの建設的な批判に感謝していると述べています。記録によると、GIFCTのスタッフは非公式に、アドバイザーとMeta、YouTube、Microsoft、Xとの間の議論を「緊迫した」と記録しています。（権利評価では、GIFCTに対し、理事会および諮問委員会の議事録を公開するよう勧告されましたが、これは実現していません。）

GIFCTが名称に込められた「グローバル」という理念に見合っていないのではないかという点が主要な論点となっている。職員は約60カ国でテロ攻撃への対応に企業を支援してきた。しかし、一部のアドバイザーは、米国外で影響力を持つ企業をもっと多く採用するよう求めている。彼らは、白人至上主義や極右ギャングの抑制策に重点を置くこと、アフリカ（サハラ以南の地域がテロの新たな「震源地」とみなされている）やアジアにおける暴力研究への関心を高めること、そしてイスラム過激主義の抑制に過度に重点を置くべきではないかと提言している。

「欧米中心主義から脱却し、より世界中心主義を強めよう」と、諮問委員会の委員長を務めるモントリオールのケベック大学の臨床心理学者ガイダ・ハッサン氏は、今年シンガポールで開催された同コンソーシアムの年次サミットの壇上で述べた。

ハッサン氏はWIREDに対し、アドバイザーたちが最近、取締役会にリーダーシップに関する懸念を表明する書簡を送ったと語った。彼女は、新たな取締役の増員が不可欠になると考えている。「GIFCT全体が多様化する必要があるように、取締役会もより多様性と包摂性を高める必要があります。」

GIFCTの顧問や職員の中には、イスラエルとハマスとの継続的な戦争に関連する「テロリストや暴力的過激派コンテンツの削除のための迅速かつ効果的な行動」を同コンソーシアムが促進することを理事会が認めたことに抗議する者もいる。同グループは他の戦争においてコンテンツ削除の仲介者となることを避けてきた。また、ガザ危機への関与はイスラエル側に立つ行為と捉えていた職員も複数いたと、この懸念を直接知る2人の関係者は述べている。GIFCT内では国連の定義が主流となっているが、国連はハマスもイスラエルもテロ組織として分類していない。GIFCTのソルトマン理事長は、「長期戦」への対応について助言を集めているという。

GIFCTの批判者を含め、WIREDが取材したほぼ全員が、何らかの協調体制がなければ世界はより悪い状況になると考えている。そうでなければ、個々の企業が相互に関連したギャップを埋めようと奮闘し、政府はより厳しい検閲を課すことになるだろう。「世界的な混乱だ」と、インターネット・ガバナンス・コンサルティング会社Digital Medusaを経営し、GIFCTの調査研究の共著者でもあるファルザネ・バディエイ氏は言う。

TikTokやPornHubなど、GIFCT理事会によって排除されたサービスは、カナダ、イギリス、フランスなどの政府やテクノロジー企業が資金提供している「Tech Against Terrorism」の支援を受けている。このイニシアチブは、135社のサービスに過激派コンテンツが含まれている場合に自動的に警告を発しており、近々認証プログラムと画像ハッシュを共有するための独自のデータベースを立ち上げる予定だ。

GIFCTは、テック・アゲインスト・テロリズムに年間数十万ドルを支払い、GIFCTの潜在的なメンバーの評価と研修を行っていました。しかし、両組織の目標とアイデンティティの重複をめぐる対立が激化し、関係は悪化しました。Microsoft、YouTube、Meta、Xは、テック・アゲインスト・テロリズムとの契約を解除し、研修プロセスの統制を一元化することを決定しました。来年からGIFCTのスタッフが研修を担当することになりました。

ヴィットーリア・エリオットとデイビッド・ギルバートによる追加レポート。