ワイヤード
アクセンチュアのダブリン本社でYouTubeのコンテンツを監視する任務を負っているモデレーターチームは、 3月17日の夕方、グループチャットを通した通知でオフィス閉鎖のメッセージを受け取った。これまでに世界中で20万人以上が感染しているコロナウイルス、COVID-19の蔓延により、オープンプランのオフィスでこれほど密集した状態で仕事を続けるのは危険すぎると判断したのだ。
安全のため、彼らは自宅待機させられた。しかし、契約上の制約により、プラットフォームに毎分アップロードされる500時間分の映像を遠隔でフィルタリングする作業を続けることはできなかった。当時現場にいたある請負業者は、報道機関への発言権限がないため匿名を条件に、この決定は避けられないものだと概ね受け止めていたと説明した。請負業者たちは、オフィスが閉鎖されている間は経済的支援を受けると伝えられた。
契約社員たちは、ソーシャルネットワークを比較的クリーンな状態に保つ秘密の労働軍団だ。低賃金で過重労働、そして非現実的なほど高い目標（アクセンチュアを通じて契約していたYouTubeの元モデレーターの話によると、98%の正解率という目標はあまりにも厳しく、月に数件の間違いしか許されないという。）を課せられながら、彼らは疑わしいコンテンツを選別し、私たちの世界を支配するウェブサイトのルールに合致するかどうかを判断するという、骨の折れる仕事をこなしている。
グーグルの製品全般に携わるセキュリティ担当者は1万人に上り、Facebookの監視契約を結んでいるセキュリティ担当者は3万人以上いる。これらのテクノロジー企業は、業務プロセスの問題で批判にさらされており、過去2年間でその数は劇的に増加している。
この細心の注意を要する人間の作業は、不適切なコンテンツにフラグを立てて削除する自動監視システムを宣伝するテクノロジー企業のせいで軽視されることが多いが、私たちはそれがいかに重要であるかに気づきつつある。
ハロルド・オールドフィールド氏が、新型コロナウイルスの流行に対するアメリカの対応に関する記事をFacebookに投稿しようとした時、何かがおかしいことに気づいた。投稿したのは評判の良いニュースメディア、ザ・ヒルとポリティコだったが、どちらもすぐにスパムとしてフラグ付けされたのだ。「私は面白がっていました。Facebookのようなプラットフォームの規制に関する本を文字通り執筆し、コンテンツモデレーションにおける公平性と透明性の重要性について1章を丸々割いているからです」と彼は説明する。「こんなやり方ではダメだと言うのは控えめな表現です。」
彼はこの分類に抗議し、投稿は復元された。「私にとっては些細なことで、むしろ面白いとさえ思えました。しかし、時間的に敏感な発言が排除されてしまうというデメリットがあります」と彼は言う。「それが常に懸念事項です。誰もが、通過してしまう悪い内容を指摘するので、フィルターが過剰に厳しくなってしまいます。時間的に敏感な良い内容が排除されてしまうと、見極めが難しくなるのです。」
オールドフィールド氏だけではない。新型コロナウイルスに関する重要かつ事実に基づいたニュースや情報を共有しようとした人々が、コミュニティのルール維持のためにFacebookのスパム対策フィルターに引っかかってしまうという事態に見舞われた。Facebookの元幹部アレックス・スタモス氏は、「スパム対策ルールが…大暴走しているようだ。人間の監視が減ることで、（機械学習が）狂い始めているのかもしれない」とツイートした。
これは、マーク・ザッカーバーグが3月18日の電話会議で触れた点だ。「アメリカ合衆国のように表現の自由が最も高く、友好的な伝統を持つ国でさえ、人が密集した部屋で火事だと叫ぶことを許さないという前例が長年存在してきました。これは、今回のような感染拡大の際に危険な誤情報を拡散する人々と似ていると思います」。YouTubeもこの結論に至ったが、その結論は単純明快だった。「悪い」情報が絶対に根付かないようにするためには、「良い」情報の拡散を偶然に抑え込む方がよい、というのだ。YouTubeは「ユーザーとクリエイターは、ポリシーに違反していない可能性のある動画も含め、動画の削除が増える可能性がある」と認めた。
「コンテンツ規制には、非常に微妙な判断が伴います。特に、削除しようとしているものが明確な定義を持たない場合、例えば『テロリズム』のように」と、Mozillaの技術政策フェローであるフレデリケ・カルテュナー氏は述べている。「自動システムではこうした微妙な判断はできませんし、手動によるフラグ付けメカニズムは、気に入らないコンテンツやアカウントに組織的にフラグ付けを行う人々によって悪用されることも少なくありません。」
しかし、人々は憤慨していた。「マーク・ザッカーバーグは長年、政策立案者に対し、AIはあらゆる問題の解決策だと提唱してきました」と、元緑の党の欧州議会議員で、長年テクノロジー企業の管理強化を訴えてきたジュリア・レダ氏は語る。「ビジネスの観点からは理にかなっています。AIの開発には膨大なデータへのアクセスが必要であり、それがFacebookに競争上の優位性を与えているからです」。しかし、レダ氏は、テクノロジー企業は人間による監視が欠如した状況に対応できないと主張している。「これらの発表は、プラットフォーム企業がアップロードフィルターが合法コンテンツと違法コンテンツを区別できないことを十分に認識していることを示しています。こうした誤りは、例えばアラビア語のコンテンツがテロリストとして不当に多くフラグ付けされるなど、体系的に差別につながります。今のような危機的状況では、政府や企業は、そうでなければ考えられないような規範を確立します。私たちは、それが新たな規範とならないように、常に警戒を怠ってはなりません」
Facebookのインテグリティ担当副社長、ガイ・ローゼン氏は、当初の問題は解決したとすぐに発表した。「誤って削除された投稿はすべて復元しました。新型コロナウイルス感染症関連だけでなく、あらゆるトピックの投稿が含まれています」と、3月18日にツイートした。「これは、悪質なウェブサイトへのリンクを削除する自動システムの問題で、他の多くの投稿も誤って削除されていました」。問題は、人々の投稿が依然として誤ってブロックされていたことだった。ローゼン氏がすべて修正されたと発表した後も、Facebookのアルゴリズムがサイトのコミュニティ規約違反を引き起こした例を挙げて、ユーザーから返信が寄せられた。
「ここ10年間のFacebookに関するあらゆる報道と同じです」と、ケンブリッジ大学の研究員兼非常勤講師で、コンテンツモデレーションの監視と研究を行っているジェニファー・コッブ氏は言う。「Facebookは問題を解決したと言っているのに、まだ問題が残っています。Facebookがこの問題に対処できると誰も信じるべきではないと思います。」
この問題はずっと前から懸念されていた。2019年6月、私はYouTubeのアルゴリズムに取り組んでいるGoogleのソフトウェアエンジニアと話をした（彼らの発言条件の一つは、名前を出したり直接引用したりしないことだった）。彼らは、私がニューヨーク・タイムズ紙に掲載した、YouTubeのレコメンデーションアルゴリズムの欠陥に関する記事をきっかけに私を見つけたのだ。彼らはアルゴリズムに修正が必要な問題があることに同意したが、機械学習アルゴリズムは常に、しかも驚異的なスピードで進化していることを強調した。十分な学習データがあれば、ほとんどすべての問題はアルゴリズムで解決できると彼らは結論づけた。しかし、これは単なるテクノロジーのユートピア的傲慢なのだろうか？
続きを読む：英国の学校は閉鎖を余儀なくされた。しかし、次に起こることはさらに悪いだろう
「AIは完璧なモデレーションはできないし、これからもできないだろう」と、ソーシャルメディアのコンテンツモデレーションを研究するシェフィールド大学のイザベル・ジェラード氏は言う。「人間同士のやり取りのように複雑なものを自動化することは不可能で、ここ数日で新型コロナウイルス感染症に関するニュース記事や投稿が削除されるなど、AIによるモデレーションにおけるエラーの例は数え切れないほど見てきました。」
そして究極的には、新型コロナウイルスの感染拡大に伴い、舞台裏で働く人々の安全を守ることが重要です。世界中で何百万人もの人々が現在、在宅勤務をしています。「おそらく膨大な数の人々が、狭い部屋に集まり、互いに近い距離でコンテンツを確認しているでしょう」とコッブ氏は言います。
コッブ氏は、コンテンツモデレーションの自動化に向けた動きを「潜在的に非常に懸念される」と見ている。彼女が懸念する理由は2つある。第一に、権限を人間からテクノロジーに移譲することで、ソーシャルメディアプラットフォームが政府の監督外で、適切なコンテンツかどうかを判断する権限をより強めてしまうことだ。第二に、より単純な技術的問題だ。
「システムは実際には十分な機能を果たしておらず、現時点では人間に取って代わる能力すらありません」とコッブ氏は言う。アルゴリズムは作成者の偏見を反映することが広く知られており、現在、人間のモデレーターは、最も悪質な偏見のいくつかを打ち消す役割を果たしている。
テクノロジー業界の利益への執着が、私たちがこの状況に陥った原因だと彼女は言います。「テクノロジー企業が何よりも追い求めるものの一つは規模です。彼らは可能な限り多くのコンテンツを手に入れ、可能な限り大きく成長しようとします。しかし、ある程度の規模に達すると、人間だけで物事を進めるのは非常に難しくなります。なぜなら、多くの人を雇う必要があり、費用が法外に高くなるからです。そこで彼らは、望むレベルまで規模を拡大するために、AIに頼って人間を置き換えようとするのです。」
しかし、AIはまだ本格的な導入には程遠いことが、今になって分かってきた。「テクノロジー業界は自社のシステムに過度の信頼を寄せており、社会全体としてもAIに過大な期待を寄せています」とコッブ氏は言う。私たちは、AIを活用したソリューションが大々的に宣伝されている現状に、まさに最悪のタイミングで、その背後にある人間の力に気づき始めたのだ。
「コンテンツモデレーションに関しては、これまでよりもはるかに大きな問題が発生する可能性が高いでしょう」とコッブ氏は説明する。「人間によるモデレーションでさえ、これまで多くの問題が起こってきたことを私は重々承知しています。」
WIREDによるコロナウイルス報道
😓 コロナウイルスはどのように始まり、次に何が起こるのでしょうか?
❓ アルコールはコロナウイルスを殺すのか？ 最大の誤解を覆す
🎮 World of Warcraftはコロナウイルスのパニックを完璧に予測していた
✈️ フライトデータは新型コロナウイルス感染症の巨大な規模を示している
👉 Twitter、Instagram、Facebook、LinkedInでWIREDをフォローしてください
この記事はWIRED UKで最初に公開されました。
