マイクロソフトは長年、スタートアップ創業者の露骨な動画をホストしていた。彼女がいかにして削除したのか

ブリーズ・リウのネットでの悪夢は、一本の電話から始まった。2020年4月、当時24歳だったリウに、大学の同級生が電話をかけてきた。「韓国のティーン」というタイトルで、彼女の露骨な動画がPornHubに掲載されていると告げられたのだ。リウは、17歳の時に無断で撮影され、同意なしにアップロードされたと主張している。

時が経つにつれ、動画は急速に増殖し、保存され、他のポルノサイトに投稿された。そして、リュー氏によると、親密なディープフェイク動画の作成に利用され、ウェブ中に拡散されたという。リュー氏への影響は甚大だった。「正直言って、自殺願望に悩まされ、自殺しそうになったほどでした」と彼女は語る。

約400枚の同意のない画像や動画をウェブから削除するには、数年にわたる大陸間の取り組みが必要でした。その間、リュー氏はベンチャーキャピタリストとして働きながら、デジタル虐待対策に取り組む自身の会社を設立しました。しかし、自身のコンテンツを扱うにあたり、インターネット最大のゲートキーパーの一つであるマイクロソフトからの沈黙と継続的な遅延に直面しました。

PornHubのようなウェブサイトで公開される画像や動画は、多くの場合クラウドインフラ上にホストされています。WIREDが検証したリュー氏の事件に関する一連のメール、そしてフランスの被害者支援団体や彼女と活動する他の支援者へのインタビューから、マイクロソフトが度重なる嘆願にもかかわらず、Azureクラウドサービスに保存されていたリュー氏の露骨な画像約150枚を削除しなかったことが明らかになりました。他社が数百枚の画像を削除した一方で、リュー氏と同僚は、マイクロソフトが行動を起こしたのは、コンテンツモデレーション会議で同社セキュリティチームの上級メンバーと対峙した後のことだと述べています。

リュー氏の精神的負担を長引かせたこの長期にわたるプロセスは、性的虐待画像の被害者やサバイバーがウェブからコンテンツを削除しようとする際に経験する困難を如実に物語っています。リュー氏の苦難はまた、画像に写っている年齢が争われたり、判別が困難だったりする被害者が陥る空虚感を浮き彫りにしています。これは見過ごされがちな問題であり、高校でヌード化アプリが普及するにつれて、より深刻な問題となる可能性があります。

「複雑なシステムを理解し、ダメージコントロールを行うのは、一般の人々にとってほぼ不可能です」とリュー氏は語る。彼女は以前にも自身の苦闘の一部を語ってきたが、今回の記事で取り上げた詳細や、マイクロソフトが長期間にわたり不適切な画像を削除できなかったことに対する解決策の多くは、これまで報じられていなかった。「私たちは極めて破綻したシステムに直面しており、これは世界的な問題です」とリュー氏は語る。「これは非常に大きな問題です。」

マイクロソフトの最高デジタルセーフティ責任者であるコートニー・グレゴワール氏は、リュー氏のケースにおけるコミュニケーションミスから会社として学び、リュー氏のような苦い経験を​​誰にも経験させたくないと述べた。「このコンテンツは最優先事項であり、12時間以内に対応できるよう努めています」とグレゴワール氏は述べた。リュー氏の場合、この過酷なプロセスには8ヶ月を要した。

2020年4月に初めてネット上に無許可で投稿された動画の存在を知らされた後、劉さんは落ち着くまで丸一日かかったと語る。同年5月14日、彼女は当時住んでいたカリフォルニア州バークレー市警察に通報した。

州法では、他人の実際の、あるいは偽造された親密な画像を、本人の同意を得ずに、かつ苦痛を与えることを知りながら共有することは軽犯罪とみなされている。捜査官はいくつかのウェブサイトに対して捜索令状を取得したが、「ウェブサイトが保有する情報が限られていること、そして関係するアカウントが海外にあること」を理由に、コンテンツをアップロードした人物を特定できなかったと、州法務省のバイロン・ホワイト報道官は述べている。リュー氏は、アップロードの犯人について疑念を抱いていたものの、それをどのように証明すればよいか分からなかったと述べている。

リュー氏は、米国を拠点とする非営利の非営利団体「サイバー・シビル・ライツ・イニシアチブ（Cyber​​ Civil Rights Initiative）」に連絡を取った。同団体はリュー氏に関する違法コンテンツを含む別のウェブページを発見したが、リュー氏は、画像に写っているリュー氏は18歳未満である可能性があるため、削除要請には協力できないと述べた。Cyber​​ Civil Rights Initiativeはリュー氏についてコメントを控えたが、未成年者の性的画像を確認することは法的に禁じられていることを認めた。

この時点で、リューさんは画像や動画の存在を初めて知ってから数ヶ月が経ち、休息が必要でした。元の動画はすぐに削除されず、リューさんは既に広範囲に拡散されているのではないかと疑っていました。彼女は無力感を感じていました。パンデミックのストレス、ベンチャーキャピタルでの多忙な仕事、そして健康への悪影響を理由に、この件を諦めることにしました。恥ずかしさと恐怖に押しつぶされそうになり、自分の話を打ち明けられる唯一の相談相手は、飼い猫だけでした。

「もっと何かがあるという直感は常にありましたが、これ以上残酷な真実に向き合えるほど精神的に安定していませんでした」とリューは言い、自分で探し出すのは気が進まなかったと付け加えた。「そんな自分の姿は見たくないですよね」。しかし、リューが2022年にベンチャーキャピタルの仕事を辞め、自身のスタートアップ企業Alecto AIを本格的に立ち上げることを決意したことで、状況は一変した。Alecto AIは、デジタルプラットフォーム上で共有された同意のない画像を見つけて削除するための顔認識ツールの開発を目指している。

リウさんが自身の露骨なコンテンツを削除してもらうための取り組みを再開するまでに、約3年かかった。2023年末に、彼女はアレクトAIの共同設立者で、長年人身売買や虐待の被害者支援に携わってきたアンドレア・パウエルさんの協力を得た。同年10月、二人は英国政府が資金提供している被害者ホットラインの研究者の協力を求めた。研究者が手動と自動で画像検索した結果、リウさんが性的な行為をしているところを映していると思われるリンクが832件見つかった。「あまりにも多すぎて、ファイルを見ることさえできませんでした」とリウさんは言う。友人がURLのスプレッドシートをダウンロードしている間に、彼女はセラピストに電話をかけた。「彼女はコンテンツをクリックするでもなく、URLの名前だけを見て泣き始めたのです」とリウさんは言う。

パウエル氏は、リンクには「暴力的なアジア中心主義的な」言葉が含まれていたと述べた。しかし、英国が資金提供しているヘルプラインは海外の被害者の削除を支援することができず、リュー氏はスプレッドシートと格闘することになった。彼女は、マッチングアルゴリズムを用いて虐待画像を見つける人気のツール「StopNCII」の利用も検討したが、適切ではないと感じた。ディープフェイクの可能性を見抜けないのではないかと懸念したのだ。

その後、リュー氏はFBIに連絡を取り、FBIはリンクの一部を証拠として保管したが、元のアップロード者の逮捕に向けた進展は見られなかったとリュー氏は考えている。FBIはWIREDのコメント要請を断った。

ある時点で、リュー氏は、児童性的虐待画像への対応を目的として米国議会が設立した非営利団体、全米行方不明・被搾取児童センター（NCMEC）に協力を求めた。しかし、同団体は対応できなかったとリュー氏は語る。コンテンツの中でリュー氏は幼く見えたにもかかわらず、当時18歳未満であったことを証明できなかったのだ。これはNCMECが削除を求めるための前提条件だ。

NCMECの事務局長ローレン・コフレン氏は、被害者の年齢判断は提携法執行機関に委託していると述べた。年齢の境界線上にあるケースは稀だが、同組織の支援を受ける資格があるはずの「被害者にとって、これは本当にひどい」ケースだとコフレン氏は言う。「被害者にとって、この状況を乗り越えることがいかに困難であるかを物語っています」

リューは、自分のためにテイクダウンを狙うことなどできないように見えるグループの間で板挟みになっていると感じていた。そして、批判されることにも疲れていた。「17歳だろうと、18歳を2日過ぎただけだと、一体何が違うというの？」と彼女は言う。「私にとってのダメージは同じ。これ以上ないほどフラストレーションがたまる」

パリ平和フォーラムで、パウエル氏は当時、違法コンテンツの通報を支援するフランスの被害者支援団体「ポイン・ド・コンタクト」に訴えた。「ブリーズをフランスに飛ばして、彼女がフランス人だと訴えるぞ、と脅したんです」とパウエル氏は語る。最終的に、2023年11月13日、ポイン・ド・コンタクトは他の団体が応じなかった対応に踏み切ることに同意した。メールによると、その後数日間でホットラインはURLを分析し、12月中旬までにホスティングプロバイダーに法的削除要求を送り始めた。リュー氏はついに前進したと感じ、感激した。「これを書いている間も、文字通り震えています」と、作業開始時のメールに記した。

ポイント・ド・コンタクトのオペレーションマネージャー、エティエンヌ・ディラニ氏によると、リュー氏が提供したリンクから395枚の無許可画像が見つかったという。残りの437枚の大部分は既に削除されているか、アクセスできない状態になっている。その他の画像はリュー氏を明確に特定できないか、性的な描写は含まれていなかった。ディラニ氏によると、複数のウェブサイトに「数十枚」の異なる画像が掲載されており、ポイント・ド・コンタクトの当時の調査ではAIによって生成された「可能性のある」コンテンツは発見されなかったという。

一部の企業やホスティングプロバイダーは迅速に対応し、2024年1月第1週までに155のURLが削除されました。Point de ContactからLiu氏に送られたメールによると、Microsoftは、コンテンツがLiu氏に関連するものであることを確認するため、氏名やソーシャルメディアのハンドルネームなど、追加の身元情報を要求しました。Liu氏はパスポートのコピーを含むこれらの情報を提供しましたが、何も起こりませんでした。

1ヶ月以上経ち、さらに数十件のコンテンツが削除されました。オンラインに残っていた202件のうち、142件はMicrosoftのAzureサービス上にホストされていました。Point de Contactの調査担当者はLiu氏にメールを送り、「Microsoftの不正使用対策チームは通知メールに返信しなかった」と主張し、社内の担当者に連絡を試みていると述べました。その頃、Liu氏はThe Streetのインタビューで、Microsoftの対応の遅さに苛立ちを隠せませんでした。匿名のMicrosoft広報担当者はThe Streetに対し、調査中であり、利用規約違反の可能性があれば深刻に受け止めていると語りました。しかし、その後も何の措置も取られませんでした。

「最大の問題は、マイクロソフトからの返答がなかったことです」とディラニ氏は語る。マイクロソフトの不正使用対策チームはさらなる情報が必要だと考えていたものの、その情報が何なのかは一度も伝えられなかったと彼は主張する。上層部の担当者でさえ、削除のきっかけとなる追加情報について明確な回答をしなかったという。ディラニ氏によると、Point de Contactは新たなケースの開設を含め、マイクロソフトにさらなる圧力をかけようとしたという。「まだオンライン状態にあるすべてのURLについてリマインダーを送っていました」と彼は言う。「しかし残念ながら、新たに送った報告にも返答がありませんでした」

数ヶ月が経つにつれ、リューさんは毎日どれだけの人が自分の性的画像に接しているのかと、ただただ心配するばかりだった。キャリアが台無しになるのではないかと恐れ、ひどく落ち込んでいた。パウエルさんによると、当時、マイクロソフトのデジタルセーフティ担当公共政策ディレクター、リズ・トーマスさんと連絡を取っていたが、リューさんに表示されたコンテンツを確認するのは難しいと言われたという。

しかし昨年7月下旬、パウエル氏とリュー氏は、オンラインの信頼性と安全性に関する問題に取り組む人々のためのカンファレンス「TrustCon」が開催されているサンフランシスコのホテルで、トーマス氏と話す計画を立てた。二人はイベントに登録していなかったが、パウエル氏はホテルのパブリックバーでトーマス氏と同僚たちが一緒にいるのを見つけた。同僚たちが去った後、パウエル氏はトーマス氏に近づき、リュー氏が自分の主張を展開する中、トーマス氏を指差して行動を促した。リュー氏を同じ部屋に見かけたことは、トーマス氏に大きな衝撃を与えた。

イベントから数日後、マイクロソフトのスタッフがパウエル氏にメールを送り、案件がエスカレーションされたことを伝えた。すると、リュー氏の画像を含む142件のURLが消え始めた。「TrustConの会場で、トラスト＆セーフティ担当者をあちこち追いかけて案件を処理するのは、本来ならやりたくないことです」とパウエル氏は語る。「しかし、やらなければならないことだったのです。」

昨年8月初旬、Point de ContactはWIREDに対し、4つの異なるMicrosoftサーバーに保存されている画像は2枚のみだと伝えた。「被害者、Microsoft、そしてNGOである私たちとの間で、この問題の解決に10ヶ月近くもかかったことを深くお詫び申し上げます」と、Point de Contactは当時メールで述べている。

マイクロソフトのデジタルセーフティ責任者であるグレゴワール氏は、リュー氏の状況を受けて、チームは報告プロセスの改善と被害者支援団体との関係強化に努めていると述べた。グレゴワール氏によると、Point de Contactは当初、同社が管理していないリンクにフラグを立てていたという。彼女は詳細な状況説明を拒否した。ディラニ氏は、この説明は本人に伝えられておらず、リンクが「対応可能」ではなかった理由も依然として不明であると述べた。

マイクロソフトは、リュウ氏の件でパウエル氏がトーマス氏を追い詰めた後で初めて、行動を起こすためのURLを入手した。「正直に言って、TrustConでの自然なつながりに感謝しています」とグレゴワール氏は語る。しかし、もう二度とそのようなことは必要ないはずだ。Point de Contactには、より直接的に連絡を取り合う手段がある、と彼女は言う。

英国最大の家庭内暴力支援団体Refugeでテクノロジーを介した虐待対策責任者を務めるエマ・ピカリング氏によると、テクノロジー企業間のポリシーとプロセスの一貫性の欠如が、削除の確実な実施を遅らせているという。「各社はそれぞれ好きなように対応しているだけで、その対応はたいてい非常に不十分です」と彼女は言う。（Googleは2024年7月に、削除を迅速化するための新しいポリシーを導入した。）

ピカリング氏は、特にマイクロソフトとのやり取りが困難だと主張する。「最近、彼らと関わりたいのであれば、彼らのプラットフォームを利用し、彼らを宣伝しているという証拠を提示する必要があると言われました」と彼女は語り、Refugeは可能な限り多くのテクノロジープラットフォームと関わりを持つよう努めていると付け加えた。

マイクロソフトのグレゴワール氏は、これらの懸念事項を調査し、対話に応じる用意があると述べた。同社は、加害者を遠ざけることで、削除の必要性を抑制したいと考えている。昨年12月、マイクロソフトは、Azureの安全対策を回避し、AIツールを使用して不快な画像を生成したとされる身元不明の10人のグループを提訴した。グレゴワール氏は、これらの画像には性的に有害と表現されるものも含まれていたと述べている。「当社のサービスが悪用され、危害を加えることを望んでいません」と彼女は述べている。

リウにとって、課題はまだ終わっていない。WIREDが検証したリンクによると、彼女の裸を映した動画や画像は、少なくとも1つの自称「無料ポルノ」サイトで依然​​として公開されている。投資家からの支持が乏しいため、彼女は貯金をアレクトAIの開発に注ぎ込まざるを得なかった。投資家の中には、プレゼンで自身の経験を使わないように言った者もいたという。リウによると、投資を検討していたある男女のカップルにプレゼンした際、オンライン画像の不正使用をAIで検出するビジネスのアイデアに爆笑したという。被害に遭い、自殺しかけたと答えても、彼らはほとんど動揺しなかったという。

悪夢が始まってから4年半以上が経った2024年12月、リューは一筋の希望の光を見出した。彼女が米国議会で提唱してきた、ウェブサイトに対し、望ましくない露骨な画像を48時間以内に削除するよう義務付ける法案が、当時のジョー・バイデン大統領の机に届く寸前だった。最終的には棚上げされたが、真の前進がこれほど間近に感じられたことはかつてなかった。リューと20人以上の超党派議員グループは諦めなかった。1月には、違反1件につき最大5万ドルの罰金を科す可能性のあるこの法案を再提出した。過剰な検閲を懸念する人権団体の反対にもかかわらず、法案は先週上院を通過した。マイクロソフトでさえもこの法案を支持している。

ご自身またはお知り合いの方が助けを必要としている場合は、1-800-273-8255にお電話ください 。全米自殺予防ライフラインが24時間無料でサポートいたします。また、741-741に「HOME」とテキストメッセージを送信すると、クライシス・テキスト・ラインをご利用いただけます。米国以外の方は、国際自殺予防協会（IASU）のウェブサイトで、 世界中のクライシスセンターの情報をご覧ください。