陰謀論を封じ込めようとするYouTubeの陰謀

YouTube幹部は、数十億時間にも及ぶ取り組みが陰謀論の饗宴につながったという主張を否定している。グッドロー氏は、「過激なコンテンツや誤情報が、平均的に他のコンテンツよりもエンゲージメントが高く、視聴者数も多いという証拠は見当たりません」と述べた。（YouTubeはファリド氏とシャスロット氏の研究にも異議を唱え、「YouTubeのおすすめ機能や、人々がYouTubeを視聴し、交流する方法を正確に反映していない」と述べている。）しかし、YouTube内部では、「自分自身を自由に発信する」という原則が、制限なく施行されることで、安全性や誤情報に関する懸念と衝突していた。

2017年10月1日、ラスベガスのコンサート会場で、ある男が大量の武器を使って群衆に向けて発砲したとき、YouTubeユーザーは直ちに、この銃撃は憲法修正第2条への反対を煽るために仕組まれたものだと主張する偽旗動画をアップロードし始めた。

銃撃事件からわずか12時間後、ジェフ・サメック氏はYouTubeのプロダクトマネージャーとして初日を迎えた。数日間、彼とチームは作り話のような動画を特定し削除することに四苦八苦した。サメック氏は、このような危機への対応策がいかに乏しいかに「驚いた」と私に語った。（その時の心境を尋ねると、彼は映画『ハドサッカー・プロキシー』で、新人郵便局員ティム・ロビンスが怒鳴られる映像を送ってきた。）どうやら、推奨システムは事態を悪化させていたようだ。BuzzFeedの記者が確認したところ、銃撃事件から3日後でも、同システムは依然として「証拠：メディアと法執行機関は嘘をついている」といった動画を推奨していた。

「初日は大変だったと言ってもいいでしょう」とサメック氏は冷淡に語った。「正直に言うと、私たちのサイトは誤情報対策においてあまり良いパフォーマンスを発揮していなかったと思います。…あれがきっかけで色々なことが起こり、ターニングポイントになったと思います。」

YouTubeは既に、ポルノや暴力を助長する発言など、特定の種類のコンテンツを禁止するポリシーを定めていました。これらの動画を特定して削除するために、同社はAI「分類器」を活用しました。これは、YouTubeが自動音声テキスト変換ソフトウェアを使って生成する見出しや動画内で話されている言葉など、様々なシグナルを分析し、ポリシー違反の可能性のある動画を自動的に検出するコードです。また、AIが削除対象と判断した動画を審査する人間のモデレーターも配置していました。

ラスベガス銃乱射事件の後、幹部たちはこの課題にさらに注力し始めた。グーグルのコンテンツモデレーターは1万人に増え、YouTubeは偽情報やその他の「不適切なコンテンツ」の新たな傾向を探す人員で構成された「インテリジェンスデスク」を新設した。YouTubeのヘイトスピーチの定義は拡大され、サンディフック小学校での殺人事件は起きていないとするアレックス・ジョーンズの主張も含まれるようになった。同サイトはすでに、ホームページ上に「ニュース速報棚」を設け、グーグルニュースが過去に審査したニュースソースのコンテンツへのリンクを紹介していた。YouTubeの最高製品責任者ニール・モハンが指摘したように、その目的は明らかに悪質なものを削除するだけでなく、信頼できる主流のソースを強化することだった。社内では、この戦略を「R」の組み合わせ、つまり違反コンテンツを「削除」し、質の高いコンテンツを「取り上げる」ことと呼ぶようになった。

しかし、削除されるほど深刻ではないコンテンツはどうだろうか？例えば、陰謀説や、暴力を助長したり「危険な治療法」を宣伝したり、あるいは明確にポリシーに違反していない疑わしい情報といったコンテンツはどうだろうか？こうした動画は、モデレーターやコンテンツブロックAIによって削除されることはない。しかし、一部の幹部は、そうした動画を宣伝することで、自分たちが共犯者になっているのではないかと疑問を呈していた。「一部の人々が、私たちが視聴を望まないものを視聴していることに気づきました」と、YouTubeの製品管理担当副社長の一人、ジョアンナ・ライトは語る。「例えば地球平面説の動画などです」。幹部たちはこれを「ギリギリ」コンテンツと呼び始めた。「ポリシーには近いが、ポリシーに違反しているわけではないのです」とライトは言った。

2018年初頭、YouTube幹部は、基準の境界線上にあるコンテンツにも対処することを決定しました。そのためには、戦略に3つ目のR、「Reduce（削減）」を加える必要がありました。陰謀論コンテンツや誤情報を認識してランクを下げる、新たなAIシステムを開発する必要があったのです。

2月に、カリフォルニア州サンブルーノにあるYouTube本社を訪問しました。グッドロー氏は、新しいAIの秘密を教えてくれると言っていました。

アイオワ州党員集会の翌日のことだった。そこでは投票集計アプリが惨憺たる失敗に見舞われた。ニュースサイクルは狂ったように回転していたが、YouTube内の雰囲気は落ち着いているようだった。私たちは会議室に列をなして入り、グッドローは椅子にどさっと腰を下ろしてノートパソコンを開いた。彼は短髪で、ベージュのカーキ色のズボンの上にジップアップの黒いセーターを羽織った、ノームコアな中年オヤジスタイルだった。数学者出身のグッドローは激しい性格で、「10億時間プロジェクト」の熱烈な支持者で、毎日神経質に視聴統計をチェックしていた。昨冬、彼はサンマテオ郡の下院議員選挙区の民主党予備選に短期間出馬したが落選した。グッドローと私は、3年間Google Newsを率いた後、2015年にDiscoveryのエンジニアリング責任者としてYouTubeにやってきた、辛辣なドイツ人のアンドレ・ローエと会った。

ロー氏は私を画面に招き入れた。彼とグッドロー氏は少し緊張しているようだった。Googleのあらゆるシステムの内部構造は厳重に守られた秘密だ。エンジニアたちは、アルゴリズムの仕組み、特にコンテンツのランクを下げるように設計されたアルゴリズムの仕組みをあまりに多く公開すると、外部の人間がそれを欺く方法を学ぶ可能性があると懸念している。ロー氏とグッドロー氏は、今回初めて、レコメンデーション刷新の詳細を記者に明かす準備をしていた。

境界線上の動画コンテンツを認識できる AI 分類器を作成するには、何千ものサンプルを使って AI をトレーニングする必要があります。それらのトレーニング動画を取得するには、YouTube は何百人もの普通の人間に怪しいものを判断してもらい、その評価とそれらの動画を AI に与えて、怪しいものがどのようなものかを認識することを AI が学習する必要があります。ここで根本的な疑問が浮かび上がります。「境界線上の」コンテンツとは何か？ ランダムに選んだ人々に猫や横断歩道の画像を識別するように依頼するのは 1 つの方法です。これは、トランプ支持者、Black Lives Matter 活動家、さらには QAnon 信奉者でさえ同意できるものです。しかし、フリーメイソンに関する動画が同団体の歴史に関する研究なのか、現在彼らが秘密裏に政府を運営している様子についての空想なのかなど、より微妙な点を人間の評価者に認識させたい場合、ガイダンスを提供する必要があります。

YouTubeはこの問題を解明するためにチームを編成した。メンバーの多くは、YouTubeが全面的に禁止するコンテンツに関するルールを作成し、継続的に更新するポリシー部門出身者だった。彼らは、コンテンツが禁止対象に大きく近づいたものの、完全には至っていないかどうかを人間が判断するのに役立つよう、約30項目の質問を用意した。

これらの質問は、本質的には、AIの知性となる人間の判断のワイヤーフレームでした。これらの隠された内部構造は、ローエのスクリーンにリストアップされていました。メモを取ることは許可されましたが、持ち帰り用のコピーは渡されませんでした。

質問の一つは、動画が「他者または視聴者自身にとって有害または危険な行動を助長する」ように見えるかどうかを問うものです。どのようなコンテンツが「有害または危険な行動」に該当するかを絞り込むため、YouTubeがこれまで取り組んできた様々な自傷行為を示すチェックボックスが用意されています。例えば、拒食症的な行動を助長する「プロアナ」動画や、自傷行為の露骨な画像などです。

「『これは有害な誤情報か？』と問うところから始めると、何が有害かという定義は人それぞれに異なります」とグッドロー氏は述べた。「しかし、その後、『では、より具体的で具体的な領域に踏み込んで、『これは自傷行為に関するものか？どのような種類の害なのか？』と問いかけてみましょう。そうすると、より多くの同意が得られ、より良い結果が得られる傾向があります。」評価者が自分の考えを記述できる自由記述欄も用意されている。

審査員は、動画が人種、宗教、性的指向、性別、国籍、退役軍人としての地位に基づいて「特定の集団に対して不寛容」であるかどうかを判断するよう求められます。しかし、さらに補足的な質問があります。「この動画は風刺的ですか？」YouTubeのポリシーでは、例えばヘイトスピーチや民族集団に関する虚偽の拡散は禁止されていますが、そうした行為を模倣することで嘲笑するコンテンツは許可される場合があります。

ローエ氏は、動画が「不正確、誤解を招く、または欺瞞的」かどうかを問う別のカテゴリーを挙げた。さらに、評価者は「根拠のない陰謀論」「明らかに不正確な情報」「欺瞞的な内容」「都市伝説」「架空の物語または神話」「確立された専門家の見解に反する」など、該当する可能性のある事実に基づかないナンセンスのカテゴリーをすべてチェックするよう求められる。評価者は、動画の視聴時間に加えて、各動画の評価に約5分を費やし、動画の文脈を理解するために調査を行うことが推奨されている。

ローエ氏とグッドロー氏は、年齢、地域、性別、人種の面で多様な人材を選定することで、人間の評価者間の潜在的なバイアスを軽減しようと努めたと述べた。また、グッドロー氏の言葉を借りれば「集団の知恵」が結果に反映されるよう、各動画は最大9人の評価者によって評価された。医療関連の動画は、一般人ではなく医師のチームによって評価された。

しかし、評価者の見解の多様性は、AIのトレーニングにおいて問題を引き起こす可能性があります。動画が虚偽であるか、事実誤認であるかという点について評価者があまりにも分裂している場合、彼らの回答は明確なシグナルを提供しません。製品管理担当副社長のウージン・キム氏は、「複数の視点が存在する、物議を醸す政治的トピックについて話しているのであれば、多くの場合、境界線を越えたコンテンツとは見なされないでしょう」と指摘しました。AI分類器がこれらの例でトレーニングされると、同じように分裂した考え方を吸収してしまいました。同じ特徴を持つ新しい動画に遭遇した場合、比喩的に言えば、肩をすくめて、境界線を越えたコンテンツとして分類しないでしょう。

評価者は数万本の動画を処理した。これは YouTube のエンジニアがシステムのトレーニングを開始するのに十分な量だ。AI は人間による評価データ (例えば、「月面着陸のデマ - ワイヤー映像」という動画は「根拠のない陰謀論」である) を取得し、それを動画の特徴 (作成者が動画を説明するために使用したタイトルの下のテキスト (「ワイヤーが見えますよ！」)、コメント (「2017 年なのに、月面着陸を信じている人がいる... 助けて... 助けて」)、トランスクリプト (「宇宙飛行士がワイヤーで重量を支えながら立ち上がっている」)、そして特にタイトル) と関連付けることを学習する。興味深いことに、動画自体の視覚的コンテンツは、あまり有用なシグナルではないことがよくある。事実上あらゆるトピックの動画と同様に、誤情報は誰かがカメラに向かって話すだけ、または (サージェントの地球平面説の動画のように) 一連の静止画によって伝えられることが多い。

AIにとってもう一つの有用な学習機能は「同時視聴」、つまりユーザーが問題の動画の前後に通常視聴する動画だ。これはある意味で、動画が付き合っている人の数を示す指標となる。例えば、ナショナルジオグラフィックが「丸い地球 vs. 平面地球」というタイトルの動画を投稿した場合、AIはそれを地球平面説の動画と非常によく似た言葉遣いだと認識するかもしれない。しかし、同時視聴される動画は天体物理学者のニール・ドグラース・タイソンへのインタビューや科学者のTEDトークである可能性が高く、地球平面説の陰謀論動画はCIAによるUFO隠蔽工作への批判とセットになる可能性がある。

AI分類器は二者択一の答えを出すのではなく、動画が「境界線」にあるかどうかを判断しません。その代わりに、動画が境界線に近づく可能性を表す数学的な重みであるスコアを生成します。この重みは、全体的な推奨AIに組み込まれ、特定のユーザーに動画を推奨する際に使用される多くのシグナルの1つとなります。

2019年1月、 YouTubeはこのシステムの導入を開始しました。その時、マーク・サージェントは地球平面説に関する動画の視聴回数が急落していることに気付きました。月面着陸陰謀論やケムトレイルに執着する動画など、他の種類のコンテンツもランキングが下がっていました。その後数ヶ月かけて、グッドローとローはシステムに30以上の改良を加え、精度が向上したとしています。夏までに、YouTubeは成功を公式に発表しました。おすすめから流入した、視聴率のボーダーラインを超えるコンテンツの視聴時間が50%減少したのです。12月には70%の減少を報告しました。

同社は内部データを公開していないため、主張の正確性を確認することは不可能だ。しかし、このシステムが効果を上げていることを示す外部からの兆候はいくつかある。一つは、境界線上のコンテンツを制作する消費者やクリエイターが、お気に入りのコンテンツがほとんどブーストされなくなったと不満を漏らしていることだ。「最近YouTubeで『陰謀論』系のコンテンツを見つけるのがどれだけ大変か、そして代わりにそれらを『論破』する動画が簡単に見つかることに気づいた人はいないだろうか？」と、今年2月のあるコメントで指摘された。「ああ、そうだ、YouTubeのアルゴリズムが彼らを圧倒しているんだ」と、別のコメントで返答された。

学術研究もある。バークレー大学のハニー・ファリド教授と彼のチームは、YouTubeが陰謀論動画を推奨する頻度が、YouTubeがアップデートを開始した2019年初頭から著しく低下し始めたことを発見した。彼の分析によると、2020年初頭までに、これらの推奨は2018年のピークから40%減少していた。ファリド教授は、一部のチャンネルが単に減少しただけでなく、推奨からほぼ完全に消えてしまったことに気づいた。実際、YouTubeが推奨を変更する前は、爬虫類が人間の間を歩き回っていると主張する英国人作家、デイビッド・アイクのチャンネルを含む10のチャンネルが、ファリド教授の定義による陰謀論推奨の20%を占めていた。その後、これらのサイトへの推奨は「ほぼゼロになった」と彼は発見した。

YouTubeの主張をある程度裏付ける別の研究が、コンピューター科学者のマーク・レドウィッチ氏と、バークレー大学のポスドク研究員で講師のアンナ・ザイツェフ氏によって行われた。彼らはYouTubeのおすすめを分析し、特に816の政治チャンネルを「党派左派」「リバタリアン」「白人アイデンティタリアン」などの異なるイデオロギーグループに分類した。その結果、YouTubeのおすすめは現在、政治コンテンツの視聴者を主に主流派に誘導していることがわかった。「社会正義」に分類された極左のチャンネルは、CNNなどの主流派にトラフィックの3分の1を奪われた。陰謀論チャンネルや「白人アイデンティタリアン」や「宗教保守派」などの反動右派チャンネルのほとんどは、トラフィックの大部分が商業的な右翼チャンネルに流出し、Fox Newsが最も大きな恩恵を受けたという。

ザイツェフとレドウィッチによるYouTubeの「主流化」トラフィックに関する分析が妥当であれば――そしてそれは確かにYouTube自身も支持する方向性だが――歴史的なパターンに当てはまるだろう。法学教授のティム・ウーが著書『マスター・スイッチ』で指摘しているように、新しいメディアは無法地帯から始まり、その後、整理整頓し、スーツを着て、慎重な中心へと統合される傾向がある。例えばラジオは、何でも言えることを誇りに思う小規模事業者の混沌とし​​た状態から始まり、徐々に少数の巨大ネットワークへと集約され、主に主流を満足させることを目指した。

しかし、ファリドのような批判者にとって、YouTubeの対応は不十分であり、対応が遅すぎる。「YouTubeは恥を知れ」と彼は言った。「こんな馬鹿げたことを何年も続けて、ようやく対応したのか？世論の圧力があまりにも大きくなり、対処できなくなったんだ」

新しい「リデュース」システムを立ち上げた幹部たちでさえ、完璧ではないと言っていました。そのため、一部の批評家は疑問を抱いています。なぜレコメンデーションシステムを完全に廃止しないのか、と。元YouTube社員のミカ・シェイファー氏は、「責任を持ってこれを実行できないのであれば、ある時点でやめるべきです」と述べています。別の元YouTube社員が指摘したように、意志の強いクリエイターはYouTubeが導入するあらゆるシステムを巧みに操作します。まるで「ヴェロキラプトルとフェンス」のように。

それでも、システムは概ね機能しているように見えた。ささやかではあったが、確かな改善だった。しかし、その後、再び堰を切ったように変化が起きた。2020年の冬がパンデミックの春、アクティビズムの夏、そしてまたもや常識を覆す選挙シーズンへと移り変わる中、レコメンデーションエンジンはYouTubeにとってそれほど大きな問題ではないかのように見えた。

YouTubeにアクセスしてから1ヶ月後、新型コロナウイルス感染症のパンデミックが本格化していた。YouTube自体が新たな陰謀論を生み出す温床となっていた。動画では5G基地局が新型コロナウイルス感染症を引き起こしたと主張され、マーク・サージェントは地球平面説を唱える自身の思索を中断し、パンデミックによるロックダウンは社会統制のための不吉な準備だとする動画をいくつか投稿した。彼は私に、政府はワクチンを使ってすべての人に目に見えない刻印を注射し、「それからヨハネの黙示録の預言である、キリスト教の獣の刻印へと進む」と告げた。

3月30日、私は再びモハンと話した。今度はGoogleハングアウトで。彼は自宅の木製パネルの部屋にこもり、青いポロシャツを着ていた。家の中のあちこちから、子供たちのかすかな声がこだましていた。

彼によると、YouTubeはパンデミックに関する偽情報の取り締まりと対抗に積極的に取り組んできたという。同プラットフォームは、新型コロナウイルス感染症に言及するすべての動画の下に「情報パネル」を設置し、疾病予防管理センター（CDC）やその他の世界および地域の保健当局へのリンクを貼った。8月下旬までに、これらのパネルの表示回数は3000億回を超えた。YouTubeは毎日、危険な「医療」情報を含む動画を削除していた。モハン氏が言うところの「有害な治療法」を宣伝する動画や、自宅待機規則を無視するよう人々に呼びかける動画も削除していた。有用な情報を集めるため、同社は人気ユーチューバー数名に、テレビに定期的に出演し、科学的理性の声として広く知られるようになった国立アレルギー・感染症研究所（NIAID）所長のアンソニー・ファウチ氏へのインタビューを依頼した。

モハン氏はYouTubeの「情報部」とも会合を重ねていた。同部の研究員たちは、新型コロナウイルスに関する最新の陰謀論を根絶しようとしていた。グッドロー氏とロー氏は、これらの動画を少なくとも週に一度はAI分類器のアップデートに活用し、新型コロナウイルス関連の境界線上にある新たなコンテンツのランクを下げることに役立てる予定だった。

しかし、私たちが話している間にも、突飛な主張を掲げたYouTube動画が次々とアップロードされ、再生回数を伸ばしていた。アメリカのカイロプラクター、ジョン・バーグマンは、手指消毒剤は効果がないと主張し、エッセンシャルオイルやビタミンCを使って感染症を治療するよう促す動画で、100万回以上の再生回数を獲得した。4月16日には、ネクスト・ニュース・ネットワークという陰謀論チャンネルが、ファウチ氏は「犯罪者」であり、コロナウイルスは「ワクチン接種義務化」を強制するための偽旗作戦であり、ワクチン接種を拒否する者は「頭を撃たれる」と主張する動画をアップロードした。この動画は2週間で700万回近く再生されたが、最終的にYouTubeから削除された。その後、ワクチンを推進するための陰謀を主張する悪名高い「プランデミック」動画や、7月27日のいわゆる「白衣サミット」など、さらに常軌を逸した動画がアップロードされた。このサミットでは、一群の医師が最高裁判所の前に集まり、ヒドロキシクロロキンが新型コロナウイルスを治療でき、マスクは不要だと虚偽の主張をした。

YouTubeは、今やお馴染みのソーシャルメディアのモグラ叩きゲームを繰り広げていた。YouTubeのルールに違反した動画が登場し、急速に再生回数を伸ばし、YouTubeがそれを削除するのだ。しかし、推奨事項がこうした突然の拡散の鍵となっているかどうかは明らかではなかった。8月14日、極右陰謀論サイト「インフォウォーズ」の寄稿者、ミリー・ウィーバーによる90分の動画がオンラインに登場した。動画には、トランプ大統領に対抗するディープステート（深層国家）の主張が満載されていた。この動画は多くの右翼サークルでリンクされ、共有された。Redditの数十のスレッドで共有され（「消える前に見て」とあるredditユーザーは書いた）、Facebookでは5万3000回以上、そして国内で最も急速に広がり、最も危険な陰謀論の1つであるQAnonの多くのフォロワーを含む、多数の右翼系YouTubeチャンネルでも共有された。YouTubeは翌日、ヘイトスピーチルールに違反しているとしてこの動画を削除した。しかし、24時間以内に100万回以上の視聴回数を記録しました。

この昔ながらの拡散方法（オーガニックなリンク共有と、ボットによる偽装宣伝を組み合わせたもの）は強力で、YouTubeのレコメンデーションシステムへの変更を阻む可能性があると、観測筋は指摘する。また、ユーザーが状況に適応しつつあり、レコメンデーションシステムは、良くも悪くも、今日の誤情報の拡散においてそれほど重要ではなくなった可能性も示唆している。シンクタンク「データ＆ソサエティ」の調査で、研究者のベッカ・ルイスは、日常的に境界線上のコンテンツを拡散するYouTube上の右翼コメンテーターの集団を描き出した。ルイスによると、こうしたクリエイターの多くは、YouTubeのレコメンデーションだけでなく、ネットワーキングを通じて、しばしば膨大な数の視聴者を獲得しているという。彼らは動画の中で互いにエールを送り合い、互いの作品を宣伝し合う。まるでYouTuberたちがこぞってミリー・ウィーバーの創作した考えを熱心に宣伝したように。

「もしYouTubeが明日レコメンデーションアルゴリズムを完全に廃止したとしても、過激派の問題は解決しないと思います。彼らはただ根強く存在しているだけですから」とルイスは言う。「彼らは今、熱狂的なファンダムを築いています。解決策が何なのか、私にはわかりません。」

私が話を聞いた元Googleエンジニアの一人も、同意した。「今、社会がこれほどまでに二極化しているので、YouTubeだけでできることは限られていると思います」と、そのエンジニアは指摘した。「ここ数年で過激化した人々は、その過激化を鎮めていません。そうすべきだったのは、もう何年も前のことです。」

記事内のリンクから商品やサービスを購入された場合、手数料が発生する場合があります。これは私たちのジャーナリズムを支えるものです。 詳細はこちらをご覧ください。

この記事は10月号に掲載されます。 今すぐ購読をお願いします。

この記事についてのご意見をお聞かせください。 [email protected]までお手紙をお送りください。