チェスに関するYouTubeチャットがヘイトスピーチとしてフラグ付けされた理由

昨年6月、 100万人以上の登録者数を誇るYouTubeのチェスチャンネルの司会者アントニオ・ラディッチ氏が、グランドマスターのヒカル・ナカムラ氏とのインタビューをライブ配信していたところ、突然放送が中断された。

チェスのオープニング、有名なゲーム、そして伝説のプレイヤーについて活発な議論をする代わりに、視聴者はラディッチ氏の動画が「有害かつ危険な」コンテンツであるとして削除されたと告げられました。ラディッチ氏は、キングス・インディアン・ディフェンスについての議論以外には何もスキャンダラスな内容が含まれていない動画がYouTubeのコミュニティガイドラインに違反しているというメッセージを見ました。動画は24時間オフラインのままでした。

何が起こったのかは依然として不明だ。YouTubeは、ラディッチ氏の動画を削除したのは間違いだったと述べるにとどまり、コメントを控えた。しかし、新たな研究によると、これはオンライン上のヘイトスピーチ、虐待、誤情報を自動検出するように設計された人工知能プログラムの欠陥を反映している可能性があるという。

カーネギーメロン大学のAIを専門とするプロジェクト科学者で、自身も本格的なチェスプレイヤーであるアシク・クダブクシュ氏は、YouTubeのアルゴリズムが白黒の駒や攻撃、防御に関する議論に混乱したのではないかと疑問を呈した。

そこで彼とCMUのエンジニア、ルパク・サーカーは実験を設計した。彼らはBERTと呼ばれる言語モデルの2つのバージョンを訓練した。1つは人種差別的な極右ウェブサイトStormfrontのメッセージを使用し、もう1つはTwitterのデータを使用した。そして、8,818本のチェス動画のテキストとコメントでアルゴリズムをテストしたところ、完璧には程遠いことがわかった。アルゴリズムは、書き起こしやコメントの約1%をヘイトスピーチとしてフラグ付けした。しかし、フラグ付けされたものの80%以上は誤検出だった。文脈から読み取れば、その言葉は人種差別的ではなかったのだ。「人間が介入しない限り、チェスの議論において既成の分類器の予測に頼ると、誤解を招く可能性がある」と、2人は論文の中で述べている。

この実験は、AI言語プログラムの根本的な問題を露呈させました。ヘイトスピーチや虐待の検出は、単に汚い言葉やフレーズを捉えるだけでは不十分です。同じ単語でも文脈によって大きく異なる意味を持つ可能性があるため、アルゴリズムは単語の列から意味を推論する必要があります。

「根本的に、言語はまだ非常に微妙なものです」と、かつてKhudaBukhshと共同研究を行ったCMU教授のトム・ミッチェル氏は言う。「こうした訓練された分類器がすぐに100%正確になるわけではありません。」

AIと言語を専門とするワシントン大学の准教授、イェジン・チェ氏は、現在の言語理解の限界を考えると、YouTubeの削除には「全く」驚いていないと述べています。チェ氏は、ヘイトスピーチ検出のさらなる進歩には、多額の投資と新たなアプローチが必要だと述べています。アルゴリズムは、単なるテキストを単独で分析するのではなく、ユーザーのコメント履歴やコメントが投稿されているチャンネルの性質など、より幅広い要素を分析することで、より効果的に機能すると彼女は述べています。

しかし、チョイ氏の研究は、ヘイトスピーチ検出がいかにして偏見を永続化させ得るかを示している。2019年の研究では、彼女らは、人間の注釈者は、アフリカ系アメリカ人と自認するユーザーのTwitter投稿を虐待的と分類する傾向が高く、そうした注釈を用いて虐待を特定するように訓練されたアルゴリズムは、こうした偏見を繰り返すことになることを明らかにした。