ソーシャルアプリは、政府やオンライン監視機関からのコンテンツモデレーションに関する助言を優先しています。米国の裁判所の判決やEUの新法により、こうした慣行が制限される可能性はありますが、依然として抜け穴が残っています。

写真:MirageC/Getty Images
2021年5月、イスラエル警察が東エルサレムの路上でパレスチナ人の抗議活動を鎮圧する一方で、別の機関がオンラインで独自の一斉検挙を試みた。イスラエル法務省サイバー犯罪局は、抗議活動に関する投稿がサービスコンテンツポリシーに違反しているとして、ソーシャルメディア企業に対し、削除を求める数千件のユーザーアカウントのリストを送付した。
ツイッター社の元従業員によると、同社はイスラエル当局から憎悪表現や嫌がらせ表現の使用を理由にフラグ付けされたアカウントのうち、いくつかを停止したという。しかし、ポリシー担当者は、そのほとんどはパレスチナ人などがイスラエルを批判するものの、規則に違反していないコメントをツイートしただけだったと判断した。
イスラエルのサイバー部門は、オンラインプラットフォームの研究者が「インターネット・リファラル・ユニット」と呼ぶものの一例です。これは、オンラインサービスに対し、気に入らないコンテンツに対して措置を講じるよう圧力をかけるために設置された政府機関です。世界中の国々で、あらゆる政府がオンラインプラットフォームへの対応に追われる中、多数のIRUが立ち上げられています。テクノロジー企業は、モデレーションキューにおいてIRUのリクエストを優先することが多く、批評家は、これらのユニットが政治的な動機を反映し、不当な検閲を防ぐための法的ハードルを回避している可能性があると懸念しています。
10年間ほぼ制限なく成長してきたインターネット紹介部門だが、現在、米国とEUで新たな抑制と均衡に直面している。
ルイジアナ州の連邦裁判所判事は今月、バイデン政権の10の異なる政府機関に所属する職員41名とそのスタッフに対し、ソーシャルメディア企業に対し、サービスの利用規約に違反すると思われるコンテンツに関する情報提供を禁じる仮差し止め命令を出した。この禁止措置により、ホワイトハウスは各機関の非公式な情報提供機関(IRU)を通じてデジタル・タウンスクエアに及ぼす影響力を大幅に制限され、国務省は海外における偽情報対策に関する情報共有のため、Metaとの予定されていた会合を延期せざるを得なくなった。
EUでは、来年発効する広範囲にわたるデジタルサービス法の条項の一つにより、紹介部門は新たな透明性要件の対象となる予定だ。
この判決と法律は、オンラインプラットフォームと、政府機関、そしてウェブをパトロールして好ましくないコメントをひそかに抑制するその他の組織との間に存在してきた癒着関係に、初めて重大な亀裂を生じさせるものである。表現の自由を推進する人権団体は新たな介入を称賛する一方で、IRUとそれが促すモデレーションの決定は、適切な管理や情報開示が行われないまま、今後もほぼ容認されることになるだろうと警告している。
シャドウモデレーション
インターネット・リファラル・ユニット(IRU)は、2010年頃に英国で初めて登場しました。FacebookやYouTubeなどのサービスが、テロ対策当局からイスラム過激派による暴力的なコンテンツの取り扱いを改善するよう圧力を受けていたためです。政府との関係改善を目指す企業は、概ねこうした要請を受け入れ、IRUを「信頼できるフラグ担当者」に任命することさえありました。IRUが報告する悪質なコンテンツは、一般ユーザーよりも迅速に審査されるからです。
IRUの数と活動は急速に拡大しました。企業はまた、信頼できるフラグ付け機関として民間社会団体を追加しました。ドイツやフランスなどの当局は、2010年代後半にソーシャルメディア上の極右政治的過激主義を抑圧するために、そしてパンデミック中には健康に関する偽情報を抑圧するために、この戦術を使用しました。
紹介ユニットは必ずしも正式な組織や組織ではないため、その任務も多岐にわたりますが、共通のプロセスが確立されています。政治的な誤情報や反ユダヤ主義など、監視対象となるトピックを選択し、問題のあるコンテンツを探し出し、専用ホットライン、手紙、内部関係者との個人的な関係、あるいは全ユーザーが利用できる「報告」ボタンなどを通じて企業に報告します。ユニットは犯罪行為と思われるもののみを報告する場合もありますが、ヌードやボットアカウントなど、合法ではあるもののプラットフォームのルールで禁止されているコンテンツを報告する場合もあります。
専門家によると、プラットフォームによる対応は多くの場合自主的である。なぜなら、要請には法的拘束力がないためであり、ユーザーには誰が自分のコンテンツを報告したかは通常知らされないからだ。人権団体は長年、IRUが法的手続きを事実上回避し、透明性と権力乱用のチェックと引き換えにスピードと簡便性を犠牲にしている一方で、ユーザーからの報告を後回しにしていると懸念を表明してきた。
ソーシャルメディア企業は、IRU要請に応じるよう強い圧力を感じることがある。なぜなら、IRU要請に抵抗すれば、事業コストを上昇させる規制につながる可能性があるからだ、と複数の専門家と、要請に対応した経験を持つ4人の元テクノロジー企業の政策担当者は述べている。政治家や影響力のある団体が、コンテンツに関する懸念をエスカレーションするための直接的なチャネルを要請し、プラットフォーム側がそれを提供するのはよくあることだ。
オフラインで確立された力関係は、番組に反映される。イスラエルと対立する小規模な統治グループの一つであるパレスチナ自治政府は、「効果的なIRUを運営するための影響力も、Metaとの関係も持っていない」と、パレスチナ人権団体7amlehのエリック・サイプ氏は述べている。Meta、TikTok、Twitterは本件に関するコメント要請に応じず、YouTubeもコメントを拒否した。
IRUは以前にも異議を申し立てられたことがある。2021年、イスラエルが東エルサレムで抗議者と衝突し、ツイッターを含む企業に警告を発した年、同国の最高裁判所は法務省の部署への異議申し立てを却下した。裁判所は業務を「国家安全保障と社会秩序にとって極めて重要」と呼び、原告が直接的な損害を証明できなかったため業務の継続を認めた。イスラエル政府の年次開示情報と米国務省の分析によると、その年、IRUは最終的にテクノロジー企業に対し、「テロ賛美」や新型コロナウイルスワクチンの誤情報などのコンテンツの自主的な削除または制限を求める要請を6000件近く、うち1300件以上をツイッターに送った。データによると、約5000件の要請が認められた。ワシントンD.C.のイスラエル大使館はコメントの要請に応じなかった。
メタの独立監視委員会(厄介なコンテンツモデレーション問題に関する控訴機関)も抵抗している。同社は昨年、銃撃事件に言及していることが暴力を扇動する恐れがあるという懸念から、ロンドン警察の要請で英国のドリルミュージックのトラックを削除した。委員会はメタには信頼できる脅威の十分な証拠がないとして削除を覆し、非公式の法執行機関の要請を「場当たり的で不透明な」やり方で受け入れたとして同社を非難した。委員会はメタに対し、こうした要請をすべて公表するよう求め、監視委員会のマイケル・マコーネル共同委員長と委員のスザンヌ・ノッセルは今月、別々の論説でこの訴えを繰り返した。メタはウェブサイトで、その作業を進めているが、要請を一元管理する作業は複雑なため、どれくらいの時間がかかるかは不明だと述べている。
新しいルール
今月、米国連邦裁判所が下した、当局職員による削除要請の申し立てを禁じる判決は、IRUにとってこれまでで最大の打撃となった。これは、保守派が多数を占める2つの州と複数のソーシャルメディアユーザーが、ホワイトハウスがFacebookとTwitterに対し、投稿への警告ラベルの付与やアカウントの停止またはアクセス禁止を圧力をかけることで、政府による検閲に対する憲法修正第1条の保護に違反しているとして訴訟を起こした後のことだ。問題となっているコンテンツは、新型コロナウイルス感染症のマスク着用、ワクチン、ウイルスの起源、そしてロックダウンについて疑問を呈するものだった。
テリー・ドーティ判事は、ホワイトハウスや連邦政府機関の職員からのメールや電話による削除要請の集中砲火がソーシャルメディア企業に圧力をかけ、いわゆる「ジョーボーニング」行為に相当したことを原告側が証明できる可能性が高いとの判決を下した。ドーティ判事は、政権が「好ましくない保守派の言論」を標的にしていると非難し、職員による非公式ながらも時折強烈なメールでの要求を指摘した。ある判事は、「この問題が直ちに解決される必要があることを強調しきれません。このアカウントを直ちに削除してください」と述べた。
ダウティ氏は、「被告らはソーシャルメディア企業を『著しく奨励』しており、その決定は(企業の)政府の決定とみなされるべきである」と書いている。
ホワイトハウスが控訴しているため現在保留となっているダウティ氏への禁止措置は、政府のIRU(インフォーマル・リレーションシップ・ユニット)の許容される行動範囲を定めることを試みるものである。この措置は、当局者がソーシャルメディア企業に対し、違法行為や国家安全保障上の問題について引き続き通知することを例外的に認めている。ワシントンD.C.の民主主義と技術センターで表現の自由プロジェクトのディレクターを務めるエマ・ランソ氏は、公共の安全を思慮深く守ることと批判者を不当に抑圧することの境界線は曖昧になり得るため、この措置には多くの疑問が残ると指摘する。
EUのIRUに対する新たなアプローチは、一部の活動家にとって妥協案のように映る。デジタルサービス法(DSA)は、EU加盟国に対し、2月までに各国の規制当局を指定することを義務付けている。この規制当局は、Metaなどの中規模から大規模プラットフォームに違法コンテンツを直接報告できる信頼できるフラグ提供者(トラステッド・フラッガー)を希望する政府機関、非営利団体、業界団体、企業からの申請を受け付ける。信頼できるフラグ提供者からの報告は「不当な遅延なく」審査されなければならず、審査に失敗した企業は、世界年間売上高の最大6%の罰金を科せられる可能性がある。
しかし、開示情報には大きな欠落があります。なぜなら、EU加盟国で違法とされるコンテンツに関する要請のみが含まれるため、利用規約違反のみを理由にフラグが付けられたコンテンツの報告は見過ごされてしまう可能性があるからです。テクノロジー企業は、ルール違反を理由にフラグが付けられたコンテンツの報告を優先する義務はありませんが、そうすることを阻むものは何もありません。また、プラットフォームは登録されていない信頼できるフラグ作成者と連携することができ、実質的には今日の目立たない慣行が維持されています。DSAは、企業に対し、すべてのコンテンツモデレーションの決定を「不当な遅延」なくEUデータベースに公開することを義務付けていますが、フラグ作成者の身元は省略可能です。
「DSAは、IRUのような既存のフラグ提供者に関する継続的な懸念に直接対処することなく、信頼できるフラグ提供者のための新しい並行構造を作成します」と、DSAの継続的な分析を提供するプロジェクトに参加しているアムステルダム大学の博士研究員パディ・リーセン氏は述べている。
DSAの執行に携わるEU当局者2名は、メディアへの発言権限がないため匿名を条件に、この新法は、EU居住者4億5000万人全員が、そうでなければ協力しない可能性のある企業にファストトラック通知を送信できる「信頼できるフラグ提供者」の恩恵を受けられるようにすることを目的としていると述べた。この新しい「信頼できるフラグ提供者」の指定は政府機関や法執行機関を対象としているわけではないが、申請を阻むものはなく、DSAはインターネット照会機関を候補として具体的に挙げている。
人権団体は、政府が信頼できるフラグガープログラムに参加すれば、ハンガリーの教材における同性愛関係の宣伝禁止(現在、訴訟中)など、EUのより厳格な法律の下で正当な言論が抑圧される可能性があると懸念している。Access Nowの表現の自由担当グローバルリーダー、エリシュカ・ピルコヴァ氏は、各国の調整機関が不適切な行動をしているとみなされた信頼できるフラグガーを資格停止にできるとしても、テクノロジー企業が圧力に抵抗するのは難しいだろうと述べている。「独立した安全策が全く欠如しているのです」と彼女は言う。「非常に憂慮すべき事態です。」
Twitterは数年前、少なくとも1つの人権団体に対し、誤った報告を多数提出したとして、最優先報告キューへの提出を禁止したと、元Twitter社員は述べている。しかし、政府を除外するのは確かに困難だろう。ワシントンD.C.のハンガリー大使館はコメント要請に応じなかった。
ネット上のヘイトスピーチと闘う非政府団体の国際連合INACHのゼネラルマネージャー、タマーシュ・ベレツ氏は、EU加盟24カ国の一部が公式の信頼できる通報者資格の申請を検討していると述べた。しかし、懸念事項もある。例えば、ハンガリーのように同性婚が禁じられている国で反同性愛ヘイトスピーチを監視する団体のように、政府の価値観と合致しない団体からの申請を、一部の国のコーディネーターが承認するかどうかなどだ。「何が起こるか全く分かりません」とベレツ氏は述べ、楽観的な見方も示した。「今のところ、非公式の信頼できるプログラムに参加していることに満足しているようです。」
受信箱に届く:ウィル・ナイトのAIラボがAIの進歩を探る

パレシュ・デイヴはWIREDのシニアライターで、大手テック企業の内部事情を取材しています。アプリやガジェットの開発方法やその影響について執筆するとともに、過小評価され、恵まれない人々の声を届けています。以前はロイター通信とロサンゼルス・タイムズの記者を務め、…続きを読む