ドラァグクイーン vs. デヴィッド・デューク: どちらのツイートがより「有害」?

Facebook、Twitter、YouTubeなどのソーシャルメディアプラットフォームは、コンテンツのモデレーションや有害な投稿の自動削除を目的とした人工知能の開発に多額の投資を行ってきました。これらの意思決定技術は、通常、機械学習技術を活用しており、画像、動画、音声、テキストといったコンテンツの種類に応じて最適化されています。テキストベースのコンテンツの「毒性」を測定するために開発されたこれらのAIシステムの中には、自然言語処理と感情評価を用いて有害なテキストを検出するものもあります。

これらの技術は、インターネット上のヘイトスピーチをめぐる議論の転換点となるように思われるかもしれませんが、最近の研究では、文脈や意図を判別できるまでにはまだ程遠いことが示されています。このようなAIツールにオンラインコンテンツの監視権限が委ねられた場合、正当な発言を抑圧し、特に社会的弱者による特定の言葉の使用を検閲する可能性があります。

InternetLabでは最近、Jigsaw（Googleの親会社であるAlphabet傘下）が開発したAI技術「Perspective」に焦点を当てた調査を実施しました。このAIは、テキストベースのコンテンツの「有害性」の認識レベルを測定します。Perspectiveは「有害」を「失礼、無礼、または理不尽なコメントで、議論から離脱させられる可能性が高いもの」と定義しています。このAIモデルは、インターネット上のコメントを「非常に健全」から「非常に有害」までの尺度で評価してもらうことで学習されました。認識される有害性レベルは、特定のコメントが有害とみなされる可能性を示します。

PerspectiveのAPIを用いて、著名なドラァグクイーンと極右政治家の有害性レベルを比較しました。この研究では、ル・ポールのドラァグ・レースの元参加者全員のTwitterアカウントと、デビッド・デューク、リチャード・スペンサー、ステファン・モリヌー、フェイス・ゴールディといった極右指導者のアカウントを比較しました。さらに、ドナルド・トランプやミシェル・オバマといった著名な非LGBTQのTwitterユーザーも調査対象に加えました。Perspectiveの最新版を用いて、英語で投稿された11万4000件以上のツイートを分析しました。

調査結果によると、ドラァグクイーンのTwitterアカウントの多くは、白人至上主義の指導者よりも高い有害度レベルと認識されていることがわかりました。ドラァグクイーンのアカウントの有害度レベルは平均16.68%から37.81%の範囲であったのに対し、白人至上主義の指導者のアカウントの有害度レベルは平均21.30%から28.87%でした。トランプ大統領のTwitterアカウントの有害度レベルは21.84%でした。

また、ドラァグクイーンのツイートによく見られる単語の毒性レベルを測定するテストも実施しました。これらの単語の毒性レベルは著しく高く、ゲイ（76.10%）、レズビアン（60.79%）、クィア（51.03%）、トランスヴェスタイト（44.48%）が挙げられました。これは、中立的な文脈で使用されていた場合でも、これらの単語がPerspectiveのAIによって著しく有害であると評価されたことを意味します。これは、Perspectiveのツールに重要なバイアスが存在することを示しています。

さらに、「fag」（91.94%）、「sissy」（83.20%）、「bitch」 （98.18%）といった言葉は、高い有害性レベルを示しました。これらの言葉は一般的に有害であると認識されているかもしれませんが、LGBTQコミュニティのメンバーによる使用は、ほとんどの場合、別の目的を持っています。

ドラァグクイーンは毒舌を使うことがあります。「リード」と呼ばれる、相手の欠点を辛辣に暴露する侮辱の言葉から、辛辣なジョークや反撃まで、ドラァグクイーンは伝統的に中傷として使われてきた言葉を巧みに利用し、独特のコミュニケーションスタイルを築き上げます。

直接会って話せば、文脈を理解しやすく、自己表現の一つとして捉えやすい。しかし、オンラインでそのようなメッセージを読む場合、有害な発言と正当な発言を区別するのは非常に困難だ。特に、その判断が機械によって行われている場合はなおさらだ。こうした集団内での発言は、私たちが分析した様々なツイートにも見られた。しかし、多くの場合、Perspectiveは依然としてその投稿を極めて有害だと判断した。

毒性レベル：95.98パーセント

毒性レベル：91.16パーセント

多くの場合、こうした「厳しい」やりとりは、人間関係における性的役割、同性愛の可視化、性的乱交といったデリケートな話題を扱っており、これらは通常、LGBTQの人々を言葉で攻撃しようとする人々が取り上げる主題です。

しかし、LGBTQコミュニティのメンバー同士が互いに向けるコメントは、悪意ではなく、連帯感から生まれるものである可能性があります。根底にあるメッセージは、憎悪、偏見、差別を助長するものではありません。むしろ、プライドや自己受容を呼び起こし、LGBTQの人々が外部からの敵意に対処する助けとなることがよくあります。

ヘイトスピーチは、しばしば根底にあるメッセージにも基づいています。その根底にあるメッセージが憎悪や差別的な考えを助長する場合、それは社会的に疎外された脆弱な集団にとって脅威となります。Perspectiveのツールは、どのようなコンテンツが有害とみなされる可能性が高いかをアルゴリズムに学習させることで、根底にあるメッセージよりも言葉を重視しているように見えます。

白人至上主義者のツイートによって広められた思想は社会的弱者をターゲットにしている可能性があるが、パースペクティブのAIはそれらのツイートをドラァグクイーンのツイートよりはるかに有害性が低いと分類することがよくある。

毒性レベル：7.17パーセント

毒性レベル：6.78パーセント

毒性レベル：21.7％

もしこのAIツールに削除すべきツイートを決定できる権限が与えられれば、ドラァグクイーンの投稿の多くは抑制されるでしょう。実際、Perspectiveは既にそのような決定を下しています。

Jigsawは3月、Perspectiveを利用してFacebook、Twitter、YouTube、Redditなどのプラットフォーム上のオンラインコンテンツの「ボリューム」を設定できる実験的なブラウザプラグイン「Tune」をリリースしました。ユーザーは、ボリュームを上げるとすべての投稿が表示され、下げると有害なコメントがすべて非表示になります。有害な投稿は小さな色付きのドットに置き換えられます。Tuneは、「虐待やハラスメントはオンライン上の議論から注目を集めない」という考えに基づいてマーケティングを展開しています。Tuneは、Perspectiveを使用することで「重要なことに集中できるようになる」と主張しています。

問題は、こうしたAIツールは偏った学習データを用いて開発される可能性があり、社会的弱者の自己表現や認知度に脅威を与える可能性があることだ。私たちの調査によると、ドラァグクイーンによるツイート3,925件（分析対象ツイート総数の約3.7%）が、Tuneの「Keep it low」モードのユーザーからは非表示になっていた可能性がある。

Perspectiveなどの類似技術は、オンラインプラットフォームにおける正当なLGBTQ発言を誤って監視・検閲するために利用される可能性があります。AIツールがメッセージの意図ではなく、特定の単語の使用といった誤解を招くシグナルに焦点を当てる場合、そのようなモデルはヘイトスピーチの除去においてほとんど進展をもたらさないでしょう。

AIツールは、私たちのコミュニケーション方法を形作る可能性を秘めています。コンピューターが「有害」なものを無差別に判断するなら、テクノロジーは私たちのオンライン上の表現方法に影響を与え、インターネットの包括性を著しく制限する力を持つことになります。