ディープフェイクボットがプラットフォーム上で、露骨で合意のない画像を生成している。これを発見した研究者たちは、警告が無視されていると述べている。
写真：ジャスティン・パジェット/ゲッティイメージズ
メッセージングアプリ「テレグラム」は、同プラットフォーム上で女性の同意のない画像を何万枚も生成したAIボットを取り締まるよう圧力を受けている。
法執行機関は、未成年者の露骨な画像を作成するために使用されたとみられるディープフェイクボットの活動を調査している。イタリアのデータ保護規制当局もこのボットの使用に関する調査を開始しており、AppleのiOSではこのボットへのアクセスが制限されている。
Telegramへの調査は、メッセージングサービスの利用状況に関する複数の調査で、AIによって生成されたものではない、女性の同意のない「リベンジポルノ」写真や動画をプライベートグループが共有していることが明らかになったことを受けて行われた。アメリカ、イタリア、韓国、イスラエルからの報告では、過去1年間にTelegramがどのように虐待画像の共有に利用されてきたかが詳細に報告されている。
研究者らは、女性のヌード画像を自動作成するディープフェイクボットに対し、Telegramが対策を講じていないと主張している。このボットは、2019年に開発されたAIツール「DeepNude」のバージョンを使用して、女性の写真から衣服を剥がし、身体の一部を生成する。誰でも簡単にこのボットを使って画像を生成することができる。このボットは、関連する複数のTelegramチャットチャンネルで、10万枚以上のディープフェイク画像を公開している。これらのチャンネルにはそれぞれ数万人のメンバーが参加していた。
セキュリティ企業Sensityの研究者たちは、今年初めにTelegramでこのボットを発見し、メッセージングアプリに報告しました。Telegramがこのボットを排除し、テクノロジーによる女性への虐待を止めてくれることを期待していましたが、それは実現していません。
センシティが10月にボットの存在を明らかにして以来、画像共有にボットを使用していたグループはボットを非表示にしています。「ボットにアクセスするのは実際には難しくなりました」と、センシティのCEO兼チーフサイエンティストであるジョルジオ・パトリーニ氏は述べています。「テレグラムでボットを宣伝していたグループは、事実上沈黙しています。」
このボットを使用していた多くのグループは、身元が特定されるのを避けるため、名前を変更しました。チャンネルの多くは現在、ディープフェイク技術全般に関連するコンテンツを共有しており、ボットによって作成された「ヌード」画像の公開ギャラリーは所有者によって削除されました。また、一部のチャンネルは完全に消滅しました。
ボット関連のグループは現在この件について投稿していないものの、ボットは依然として存在し、活動を続けている。「このボットは誰にも削除されたことはありません」とパトリーニ氏は語る。「公開されて以来、このボットは今も稼働しています。」ある事例では、ボットの作成者は、このボットは今後もレーダーに引っかからずに活動を続けると述べた。身元が不明な作成者は、コメントの要請には応じなかった。
10月末、TelegramボットはiPhoneとiPadでアクセスできなくなり、Appleの開発者ガイドラインのセクション1.1に違反しているというメッセージが表示されました。Appleのルールでは、「露骨に性的またはポルノ的なコンテンツ」はApp Storeからアクセスできるアプリでは許可されていません。Telegram内でのこのメッセージは、ボットを表示できないという一般的な警告に置き換えられました。
Appleは、Telegramに関する質問や、同社に制限を設けるよう指示したかどうかについての質問には回答しなかった。Appleは、自社が所有していないアプリのコンテンツをブロックしたり、メッセージを表示したりすることはできないとしているが、App Storeのルールに違反するコンテンツを発見した場合は開発者に通知するとしている。このルールでは、ユーザーがアップロードしたテキスト、写真、動画を含むアプリには、「好ましくない」コンテンツの投稿をフィルタリングする機能も備えなければならないとされている。このボットは、AndroidデバイスとTelegramのMacアプリではまだ利用可能である。
ボットに関するTelegramのグループチャットで、ボットの所有者はTelegramがボット名への言及をブロックしたと述べています。しかし、WIREDはこれやTelegramによる何らかの措置を確認できませんでした。Telegramの広報担当者も、サービスの創設者であるパベル・デュロフ氏も、コメント要請に応じませんでした。ドバイに拠点を置いているとみられるものの、世界中にサーバーを持つ同社は、Telegramボットによって引き起こされた被害や、ボットの運用を容認し続ける立場について、これまで公にコメントしていません。
2013年の創業以来、Telegramは言論の自由のためのプライベートな空間として位置づけられており、エンドツーエンドの暗号化モードは、世界中のジャーナリストや活動家によってプライバシー保護と検閲回避のために利用されてきました。しかし、このメッセージングアプリは問題のあるコンテンツによって問題に直面してきました。2017年7月、インドネシアがTelegramの利用禁止をちらつかせたことを受け、Telegramはテロ関連コンテンツを削除するためのモデレーターチームを設置すると発表しました。また、Appleは2018年にTelegramプラットフォーム上で不適切なコンテンツを発見し、App Storeから一時的にTelegramを削除しました。
「彼ら（テレグラム）は、コンテンツのモデレーションやプラットフォーム上のあらゆるガバナンスに関して、非常にリバタリアン的な視点を持っていると思います」と、オックスフォード・インターネット研究所の研究員、マハサ・アリマルダニ氏は語る。イランの活動家と活動してきたアリマルダニ氏は、テレグラムがイラン当局が作成した偽アプリについてユーザーに通知したことを指摘する。「彼らが実際に行動を起こしたのは、国家当局が介入した時だったようです」
10月23日、イタリアのデータ保護機関（Garante per la Protezione dei dati Personali）はTelegramに対する調査を開始し、データの提供を求めた。声明の中で、規制当局は、このボットが生成したヌード画像は被害者に「回復不能な損害」をもたらす可能性があると述べた。イタリア当局の調査開始以降、パトリーニ氏はTelegram上のディープフェイクボットの調査をさらに進めている。彼によると、Sensityが以前発見したものと同じ機能を提供しているように見えるイタリア語のボットが複数存在するものの、実際には動作していないようだという。
ミラノ大学とトリノ大学の研究者による別の研究では、イタリア語のTelegramグループネットワークが、ディープフェイク技術を使わずに女性の同意のない親密な画像を共有していることが明らかになりました。これらのグループの一部は非公開で、招待制でした。3万人以上のメンバーを抱えるグループもあり、同意のない画像を共有しない場合はグループから除外されることになっていました。あるグループは、公共の場で本人の承諾なしに撮影された女性の画像を共有することに重点を置いていました。
「Telegramは自らを見つめ直し、責任を負うべきだ」と、非合意画像とテクノロジーを専門とする法律事務所McAllister Olivariusの弁護士、ホンザ・チェルヴェンカ氏は述べている。チェルヴェンカ氏は、テクノロジー企業に対し、ユーザー保護を強化し、悪質な自動化技術の使用を取り締まるよう強制するための新たな法律が必要だと述べている。「Telegramが開発者向けにTelegram Bot APIを提供し続けるのであれば、Apple、Google、Microsoftがアプリストアで行っているように、公式ボットストアを設立し、ボットを認証するべきだ」とチェルヴェンカ氏は述べている。しかし、チェルヴェンカ氏は、Telegramにこうした措置を取らせるための政府や法的な圧力はほとんどないと付け加えている。
パトリーニ氏は、ディープフェイク技術が急速に進歩しており、テレグラムのボットは将来起こりうる事態を予兆していると警告しています。テレグラムのボットは、この種の画像悪用がこれほど大規模に確認された初めての事例であり、誰でも簡単に使用でき、技術的な専門知識は必要ありません。また、一般人がディープフェイク技術の標的となった最初の事例の一つでもありました。以前は、著名人や著名人が合意のないAIポルノの標的となっていました。しかし、ディープフェイク技術がますます民主化されるにつれて、この種の悪用事例がオンラインで発見されるケースが増えるだろうと彼は述べています。
「これは一つの調査ですが、インターネット上の複数の場所で同様の不正行為が見つかっています」とパトリーニ氏は説明する。「規模は小さいものの、画像が盗まれたり漏洩されたりして、転用、改変、再作成、合成されたり、AIアルゴリズムの訓練に使用され、私たちの知らないうちに私たちの顔を使った画像が作られたりするオンライン上の場所は他にもたくさんあります。」
この記事はもともと WIRED UKに掲載されたものです。
WIREDのその他の素晴らしい記事
- 📩 テクノロジー、科学、その他の最新情報を知りたいですか？ニュースレターにご登録ください！
- 脆弱な人は待て。まずはスーパースプレッダーにワクチンを接種しよう
- 名もなきハイカーとインターネットでは解明できない事件
- トランプはインターネットを破壊した。ジョー・バイデンはそれを修復できるだろうか？
- Zoomがついにエンドツーエンド暗号化に対応しました。使い方はこちら
- はい、Apple PayまたはGoogle Payを使用する必要があります
- 🎮 WIRED Games: 最新のヒントやレビューなどを入手
- 🏃🏽♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください
マット・バージェスはWIREDのシニアライターであり、欧州における情報セキュリティ、プライバシー、データ規制を専門としています。シェフィールド大学でジャーナリズムの学位を取得し、現在はロンドン在住です。ご意見・ご感想は[email protected]までお寄せください。…続きを読む
