AI画像ジェネレータのデータベースが公開され、人々が実際に何に使用していたかが明らかに

WIREDが入手した新たな調査によると、AIが生成した児童性的虐待画像を含む数万点の露骨なAI画像がインターネット上で公開され、誰でもアクセスできる状態になっていた。AI画像生成企業の公開データベースには、9万5000件以上の記録が含まれていた。その中には、アリアナ・グランデ、カーダシアン家、ビヨンセといった著名人が子供のように若返った画像や、一部のプロンプトデータも含まれていた。

セキュリティ研究者のジェレミア・ファウラー氏がWIREDに漏洩の詳細を明かしたこのデータベースは、韓国に拠点を置くウェブサイト「GenNomis」にリンクされています。このウェブサイトとその親会社であるAI-Nomisは、ユーザーが利用できる画像生成ツールやチャットボットツールを多数ホストしていました。45GBを超えるデータ（主にAI画像）が公開されていました。

公開されたデータは、AI画像生成ツールがいかにして、成人の極めて有害で、おそらく合意のない性的コンテンツや児童性的虐待コンテンツ（CSAM）を作成するために武器化されるかを垣間見せています。近年、数十もの「ディープフェイク」や「ヌード化」を目的としたウェブサイト、ボット、アプリが急増し、何千人もの女性や少女が有害な画像や動画の標的となっています。これは、AI生成CSAMの急増と並行して起こっています。

「重要なのは、これがどれほど危険であるかということです」とファウラー氏はデータ漏洩について語る。「セキュリティ研究者として、そして親として、この状況を見ると、恐ろしいです。そして、このようなコンテンツがいかに簡単に作成できるかということも恐ろしいのです。」

ファウラー氏は3月上旬、ファイルのオープンキャッシュ（データベースはパスワード保護も暗号化もされていなかった）を発見し、すぐにGenNomisとAI-Nomisに報告し、AI CSAMが含まれていることを指摘した。ファウラー氏によると、GenNomisはすぐにデータベースを閉鎖したが、この発見について返答や連絡はなかったという。

GenNomisとAI-Nomisは、WIREDからの複数回のコメント要請には応じなかった。しかし、WIREDが両社に連絡を取ってから数時間後、両社のウェブサイトは閉鎖されたようで、GenNomisのウェブサイトには404エラーページが表示されるようになった。

「この例は、このような虐待画像の生成を可能にするAI市場が、いかに恐るべき規模で存在しているかを改めて示しています」と、英国ダラム大学の法学教授で、オンラインおよび画像による虐待を専門とするクレア・マクグリン氏は述べている。「これは、CSAMの作成、所持、そして流通が決して珍しいことではなく、歪んだ個人に起因するものであることを改めて認識させるものです。」

GenNomisは削除される前、ホームページに複数のAIツールを掲載していました。その中には、ユーザーが作成したい画像を入力するか、画像をアップロードして変更するためのプロンプトを追加できる画像ジェネレーターが含まれていました。また、顔交換ツール、背景除去ツール、動画を画像に変換するオプションもありました。

「最も不快だったのは、明らかに子供の露骨な描写のある画像と、明らかに有名人が子供として再解釈された画像です」とファウラー氏は語る。研究者によると、AIが生成した服を着た少女の画像もあったという。これらの画像では、使用されている顔が完全にAIによって生成されたものなのか、それとも実在の画像に基づいているのかは不明だという。

ファウラー氏によると、データベースにはCSAMに加え、AIが生成した成人のポルノ画像と「顔入れ替え」画像が含まれていたという。ファイルの中には、実在の人物の写真と思われるものがあり、おそらく「AIが生成した露骨なヌードや性的な画像」を作成するために使われていたとファウラー氏は指摘する。「つまり、実在の人物の写真を撮影し、そこに顔を入れ替えていたのだ」と、ファウラー氏は一部の画像について主張している。

GenNomisのウェブサイトは、公開当初はAIによる露骨なアダルト画像を許可していました。ホームページやAI「モデル」セクションに掲載されている画像の多くには、女性の性的画像が含まれており、中には「フォトリアリスティック」なものもあれば、完全にAIによって生成されたものやアニメーション風のものもありました。また、「NSFW」ギャラリーと「マーケットプレイス」も提供されており、ユーザーはそこで画像を共有したり、AI生成写真のアルバムを販売したりすることもできました。ウェブサイトのキャッチフレーズには「制限のない」画像や動画を生成できると書かれていましたが、2024年の以前のバージョンでは「無修正画像」を作成できるとされていました。

GenNomisのユーザーポリシーでは、「敬意のあるコンテンツ」のみが許可され、「露骨な暴力」やヘイトスピーチは禁止されていると明記されています。コミュニティガイドラインには「児童ポルノおよびその他の違法行為はGenNomisでは固く禁じられています」と記載されており、禁止コンテンツを投稿したアカウントは削除されるとされています。（研究者、被害者支援団体、ジャーナリスト、テクノロジー企業など、多くの団体が過去10年間で「児童ポルノ」という表現を段階的に廃止し、CSAM（児童ポルノ保護団体）という表現を採用してきました。）

GenNomisがAI生成のCSAM（性的マイノリティ画像）の作成を防止または禁止するために、モデレーションツールやシステムをどの程度活用していたかは不明です。昨年、一部のユーザーが同社の「コミュニティ」ページに、性行為をしている人物の画像を生成できず、性的ではない「ブラックユーモア」のプロンプトがブロックされていると投稿しました。別のアカウントは、この「NSFW」コンテンツは「連邦政府の監視対象になる可能性がある」ため、対処する必要があるとコミュニティページに投稿しました。

「URLだけでそれらの画像を見ることができたということは、そのコンテンツをブロックするために必要な措置をすべて講じていないということを示している」とファウラー氏はデータベースについて主張する。

ディープフェイクの専門家で、コンサルティング会社「レイテント・スペース・アドバイザリー」の創設者であるヘンリー・アジダー氏は、たとえ同社が有害で違法なコンテンツの作成を許可していなかったとしても、ウェブサイトのブランディング（「無制限の」画像作成や「NSFW」セクションへの言及）は、「安全対策のない性的なコンテンツとの明らかな関連性」があることを示唆していると述べている。

アジデル氏は、英語のウェブサイトが韓国の団体と関連付けられていたことに驚きを隠せない。昨年、韓国は少女を標的とした合意なきディープフェイク「緊急事態」に見舞われ、その後、ディープフェイクの悪用拡大への対策を講じた。アジデル氏は、AIを用いた合意なき画像生成を許すエコシステムのあらゆる側面に、より強い圧力をかける必要があると指摘する。「こうした事例が増えれば増えるほど、立法者、テクノロジープラットフォーム、ウェブホスティング会社、決済サービス提供会社に、この問題が突きつけられる。あらゆる人々が、何らかの形で、故意か否かに関わらず、ほとんどの場合、無意識のうちに、こうした事態を助長し、容認しているのだ」と同氏は指摘する。

ファウラー氏によると、データベースにはAIプロンプトが含​​まれていると思われるファイルも含まれていたという。公開されたデータには、ログイン名やユーザー名などのユーザーデータは含まれていなかったとファウラー氏は述べている。プロンプトのスクリーンショットには、「tiny（ちっちゃい）」「girl（女の子）」といった言葉や、家族間の性行為に関する言及が見られる。また、有名人同士の性行為に関するものも含まれていた。

「テクノロジーはガイドラインや規制をはるかに超えて進歩しているように思えます」とファウラー氏は言う。「法的な観点から言えば、児童を描写する露骨な画像は違法であることは誰もが知っていますが、それでもテクノロジーがそうした画像を生成することを阻止できたわけではないのです。」

過去2年間で、生成AIシステムによって画像の作成と修正が飛躍的に容易になったため、AI生成のCSAM（性的虐待画像）が爆発的に増加しました。「AI生成の児童性的虐待コンテンツを含むウェブページの数は2023年以降4倍以上に増加しており、この恐ろしいコンテンツのフォトリアリスティックさも飛躍的に向上しています」と、オンラインCSAM対策に取り組む英国を拠点とする非営利団体、インターネット・ウォッチ・ファウンデーション（IWF）の暫定CEO、デレク・レイ＝ヒル氏は述べています。

IWFは、犯罪者がAI生成のCSAMを作成し、その作成手法を開発していることを記録しています。「現在、犯罪者にとってAIを使って児童の性的に露骨なコンテンツを大規模かつ迅速に生成・配布することは非常に容易です」とレイヒル氏は述べています。