テレグラムで何百万人もの人が悪質なAI「ヌード化」ボットを使っている

2020年初頭、ディープフェイクの専門家ヘンリー・アジュダー氏は、人工知能を用いて女性の写真を「脱がせる」ために作られた、初期のTelegramボットの一つを発見した。アジュダー氏の記憶によると、当時このボットは10万枚以上の露骨な写真（子供の写真も含む）を生成するために使用されており、その開発はディープフェイクが作り出す恐怖の「転換点」となった。それ以来、ディープフェイクはより蔓延し、より有害となり、より容易に作成できるようになった。

WIREDが、合意のない露骨なコンテンツに関与するTelegramコミュニティを調査したところ、わずか数回のクリックで人物の露骨な写真や動画を作成できると主張するボットが少なくとも50種類存在することが判明しました。ボットの機能は様々で、写真から「服を脱ぐ」ことができると主張するものもあれば、様々な性行為をしている人物を描いた画像を作成できると主張するものもあります。

WIREDが各ボットの統計データを調査したところ、50個のボットの「月間ユーザー数」を合計すると400万人を超える。2個のボットはそれぞれ40万人以上、さらに14個のボットはそれぞれ10万人以上のユーザー数を記録している。この調査結果は、露骨なディープフェイク作成ツールがいかに普及しているかを示しており、Telegramがディープフェイク作成ツールが最も多く存在する場所の一つであることを改めて示すものだ。しかし、このスナップショットは主に英語のボットを網羅しており、Telegram上のディープフェイクボット全体のごく一部に過ぎない可能性が高い。

「明らかにこの種のコンテンツを積極的に利用し、作成している人の数が桁違いに増加しているという話です」とアジダー氏はテレグラムのボットについて語る。「人生を破壊し、主に少女や女性にとって悪夢のような状況を生み出しているこれらのツールが、世界最大級のアプリの一つであるこのサーフェスウェブ上で、いまだにこれほど簡単にアクセスでき、見つけられるというのは、本当に憂慮すべきことです。」

同意のない露骨なディープフェイクコンテンツ（しばしば「同意のない親密な画像虐待」（NCII）と呼ばれる）は、2017年末に初めて登場して以来、爆発的に増加しており、生成AIの進歩が近年の成長を後押ししています。インターネット上では、「ヌードにする」や「服を脱がす」といったウェブサイトが、より洗練されたツールやTelegramボットと並んで存在し、イタリアの首相から韓国の女子生徒まで、世界中の何千人もの女性や少女を標的にしています。最近の調査では、米国の学生の40%が、昨年、自分の小中学校に関連したディープフェイクを認識していたと報告されています。

WIREDが特定したTelegramボットは、少なくとも25の関連Telegramチャンネル（ニュースフィード形式の最新情報を購読できるチャンネル）によってサポートされており、合計300万人以上のメンバーが登録しています。Telegramチャンネルは、ボットが提供する新機能や、ボットを操作するために購入できる「トークン」の特別オファーについてユーザーに通知するだけでなく、Telegramによってボットが削除された場合に、ボットを使用しているユーザーが新しいボットへのリンクを見つけるための場所として機能することも少なくありません。

WIREDがTelegramに対し、プラットフォーム上で露骨なディープフェイクコンテンツの作成を許可しているかどうかについて質問したところ、同社はWIREDが特定した75個のボットとチャンネルを削除した。同社は一連の質問に回答せず、チャンネル削除の理由についてもコメントしなかった。

WIREDが後に特定した、合意のないディープフェイクTelegramチャンネルとボットは、問題の深刻さを物語っています。複数のチャンネル所有者がボットが削除されたと投稿し、あるチャンネル所有者は「明日またボットを作ります」と述べていました。これらのアカウントも後に削除されました。

ありふれた光景に隠れる

Telegramボットは、基本的にTelegram内で動作する小さなアプリです。アプリのチャンネルと並んで配置され、チャンネルでは無制限の登録者にメッセージをブロードキャストできます。また、最大20万人が交流できるグループや、1対1のメッセージも送受信できます。開発者たちは、クイズに挑戦したり、メッセージを翻訳したり、アラートを作成したり、Zoomミーティングを開始したりするためのボットを作成しています。さらに、悪質なディープフェイクの作成にも利用されています。

ディープフェイクツールの有害性を考慮し、WIREDはTelegramのボットをテストしておらず、特定のボットやチャンネルの名前も挙げていません。Telegramの統計によると、これらのボットは月間数百万人のユーザーを抱えていましたが、ボットがどれだけの画像を作成するのに使われたかは不明です。複数のチャンネルやボットに参加している可能性のあるユーザーの中には、画像を全く作成していない人もいれば、数百枚作成している人もいるかもしれません。

WIREDが確認したディープフェイクボットの多くは、その目的が明確です。ボットの名前と説明には、ヌードや女性の服を脱がせることが明記されています。あるボットの作者は「写真を送っていただければ、顔や服装を何でも変えられます」と書いています。別のボットは「AIがもたらす衝撃を体験してください」と謳っています。Telegramは、おすすめツールに「類似チャンネル」を表示することで、潜在的なユーザーがチャンネルやボットを行き来できるようにしています。

ほぼすべてのボットは、画像を作成するために「トークン」の購入を要求しますが、実際に彼らが主張するような方法で動作するかどうかは不明です。近年、ディープフェイク生成をめぐるエコシステムが繁栄するにつれ、ウェブサイト、アプリ、ボットを作成する人々にとって、潜在的に大きな収入源となっています。404Mediaの報道によると、多くの人が「ヌード化」ウェブサイトを利用しようとしているため、ロシアのサイバー犯罪者は、マルウェアに感染させるための偽ウェブサイトを作成し始めています。

数年前に特定された最初のテレグラム ボットは比較的初歩的なものでした。しかし、よりリアルな AI 生成画像を作成するために必要なテクノロジーは向上しており、一部のボットは目につくところに隠れています。

月間ユーザー数が30万人を超えるあるボットは、名前やランディングページに性的な内容は一切記載されていませんでした。しかし、ユーザーがボットをクリックすると、40種類以上の画像オプションが用意されていると表示され、その多くは性的な内容が強く含まれています。このボットには、Telegram以外のウェブ上にユーザーガイドが用意されており、最高品質の画像を作成する方法が説明されています。ボット開発者は、ユーザーに利用規約への同意を求めることができ、人物の同意を得ていない画像や児童の画像のアップロードを禁止することができますが、これらのルールはほとんど、あるいは全く施行されていないようです。

3万8000人以上のユーザーを抱える別のボットは、同じ男性または女性の画像を6枚送信することでAIモデルを「トレーニング」し、その人物の新たなディープフェイク画像を作成できると主張していた（これは男性の画像を作成できると主張する少数のボットの1つである）。ユーザーがボットに参加すると、そのボットは作成者による11個の「他のボット」のメニューを表示し、システムをオンラインに保ち、削除を回避しようとすると思われる。

「こうした偽画像は、心理的トラウマや屈辱感、恐怖、当惑、恥辱感を引き起こし、人の健康と幸福を害する可能性があります」と、英国最大の家庭内暴力支援団体Refugeでテクノロジーを介した虐待と経済的エンパワーメントの責任者を務めるエマ・ピカリング氏は述べている。「こうした形態の虐待は一般的であるにもかかわらず、加害者が責任を問われることは稀で、親密なパートナー関係においてこの種の虐待がますます蔓延していることが分かっています。」

露骨なディープフェイクの作成が容易になり、蔓延するようになったため、議員やテクノロジー企業はその流れを食い止めるのに時間がかかっています。米国では23州が合意のないディープフェイクに対処するための法律を可決し、テクノロジー企業も一部のポリシーを強化しています。しかし、露骨なディープフェイクを作成できるアプリがAppleやGoogleのアプリストアで発見され、1月にはテイラー・スウィフトの露骨なディープフェイクがXで広く共有されました。また、大手テクノロジー企業のサインインインフラによって、ディープフェイクウェブサイトに簡単にアカウントを作成できるようになっています。

民主主義と技術センターの表現の自由プロジェクトのディレクター、ケイト・ルアン氏は、主要なテクノロジープラットフォームのほとんどが現在、性的画像の同意のない配信を禁止するポリシーを策定しており、大手企業の多くがディープフェイク対策の原則に同意していると述べています。「プラットフォーム上で同意のない性的画像の作成や配信が禁止されているかどうかは、実際には明確ではありません」と、ルアン氏はテレグラムの利用規約について述べています。テレグラムの利用規約は他の主要なテクノロジープラットフォームに比べて詳細度が低いからです。

Telegramの有害コンテンツ削除へのアプローチは、長年にわたり市民社会団体から批判されてきた。同プラットフォームはこれまで、詐欺師、極右団体、テロ関連コンテンツをホストしてきた。TelegramのCEO兼創設者であるパベル・デュロフ氏が8月にフランスで逮捕・起訴されたことを受け、同社は利用規約を一部変更し、法執行機関へのデータ提供を開始した。同社は、露骨なディープフェイクを具体的に禁止しているかどうかについてWIREDの質問に回答しなかった。

害を与える

4年前にディープフェイクTelegramボットを発見した研究者のアジダー氏は、このアプリはディープフェイクの悪用においてほぼ独自の位置を占めていると述べています。「Telegramは検索機能を提供しているので、コミュニティ、チャット、そしてボットを特定できます」とアジダー氏は言います。「ボットホスティング機能も提供しているので、実質的にツールを提供しているのです。そして、それを共有し、最終的に害を及ぼすこともできる場所でもあります。」

9月下旬、複数のディープフェイクチャンネルが、Telegramがボットを削除したと投稿し始めた。削除のきっかけは不明である。9月30日には、登録者数29万5000人のチャンネルが、Telegramがボットを「禁止」したと投稿したが、ユーザーが使用できる新しいボットリンクを投稿した。（このチャンネルは、WIREDがTelegramに質問を送信した後、削除された。）

「テレグラムのようなアプリで本当に懸念される点の一つは、特に被害者の視点からすると、追跡や監視が非常に難しいことです」と、画像による性的虐待から人々を守るキャンペーン団体「#NotYourPorn」の共同設立者兼ディレクターのエレナ・マイケル氏は言う。

マイケル氏は、Telegramは安全性の問題について話し合うのが「非常に難しい」と述べているものの、近年は一定の進歩が見られたと指摘する。しかし、同社はコンテンツのモデレーションとフィルタリングにおいて、より積極的に取り組むべきだと彼女は指摘する。

「もし自分が被害者で、自分でそうしなければならないとしたら、その負担は個人に負わされるべきではないはずです」とマイケルは言う。「事後対応ではなく、事前に対策を講じる責任は、企業にあるべきです。」