親ロシア派の偽情報キャンペーンが無料AIツールを使って「コンテンツ爆発」を煽っている

先週発表された新たな調査によると、親ロシア派の偽情報キャンペーンは、消費者向け人工知能ツールを活用し、世界選挙、ウクライナ、移民など、物議を醸す問題をめぐる既存の緊張を悪化させることを目的とした「コンテンツ爆発」を促進している。

「オペレーション・オーバーロード」や「マトリョーシカ」など様々な名称で知られるこのキャンペーン（他の研究者はストーム1679との関連性も指摘）は2023年から活動しており、マイクロソフトや戦略対話研究所を含む複数の団体がロシア政府と連携している。このキャンペーンは、メディアを装って虚偽の情報を拡散し、民主主義国家に分裂を煽るという明確な目的を持っている。このキャンペーンは米国を含む世界中の視聴者を対象としているが、主な標的はウクライナである。AIによって操作された数百本の動画は、親ロシア的な言説を煽ろうとしている。

報告書では、2024年9月から2025年5月の間に、キャンペーン運営者によって制作されたコンテンツの量が劇的に増加し、世界中で何百万回もの視聴回数を獲得していることが概説されています。

研究者らは報告書の中で、2023年7月から2024年6月の間に、このキャンペーンによって宣伝された画像、動画、QRコード、偽ウェブサイトなどを含む230件のコンテンツを特定した。しかし、過去8ヶ月間で「オペレーション・オーバーロード」は合計587件のコンテンツを生み出しており、その大部分はAIツールの助けを借りて作成されたと研究者らは述べている。

研究者らによると、コンテンツの急増は、オンラインで無料で入手できる消費者向けAIツールによって引き起こされたという。この容易なアクセスは、キャンペーンの「コンテンツ融合」戦略を後押しした。つまり、キャンペーン運営者はAIツールのおかげで、同じストーリーを広める複数のコンテンツを作成することができたのだ。

「これは、よりスケーラブルで多言語対応、そしてますます洗練されたプロパガンダ戦術への移行を示している」と、偽情報キャンペーンを追跡するロンドンを拠点とする非営利団体Reset Techとフィンランドのソフトウェア企業Check Firstの研究者らは報告書に記している。「このキャンペーンは過去8ヶ月で新規コンテンツの制作を大幅に増加させており、より迅速でスケーラブルなコンテンツ制作手法への移行を示唆している」

研究者たちは、このキャンペーンが駆使したツールやコンテンツの種類の多様性にも驚嘆した。「私が驚いたのは、コンテンツの多様性、彼らが使い始めたコンテンツの種類の多さです」と、Reset Techのオープンソース・インテリジェンス主任研究者、アレクサンドラ・アタナソワ氏はWIREDに語った。「まるで、彼らはストーリーの様々な角度を捉えるために、パレットを多様化しているようです。彼らは次々と異なる種類のコンテンツを重ねているのです。」

アタナソワ氏は、キャンペーンでは目的を達成するためにカスタムAIツールは使用していないようだが、誰でもアクセスできるAI搭載の音声・画像ジェネレーターを使用していると付け加えた。

攻撃活動に使用されていたツールをすべて特定するのは困難でしたが、研究者たちは Flux AI という 1 つのツールに絞り込むことができました。

Flux AIは、Stability AIの元従業員によって設立されたドイツに拠点を置く企業、Black Forest Labsが開発したテキスト画像生成ツールです。研究者たちはSightEngine画像分析ツールを用いて、Overloadキャンペーンで共有された偽画像（ベルリンとパリでイスラム教徒の移民が暴動を起こし、放火する様子を捉えていると主張するものも含む）の多くが、Flux AIの画像生成機能を使用して作成された可能性が99%あることを発見しました。

その後、研究者たちは、「怒ったイスラム教徒の男性」など差別的な言葉を含んだプロンプトを使って、公開された画像の美的感覚を忠実に再現した画像を生成することができた。

これは「AIによるテキスト画像化モデルが人種差別を助長し、反イスラム教のステレオタイプを煽るために悪用される可能性がある」ことを浮き彫りにしていると研究者らは記し、「異なるAI生成モデル間でプロンプトがどのように機能するかについての倫理的な懸念」も引き起こすと付け加えた。

「違法な悪用を防ぐため、プラットフォームがAI生成コンテンツを識別できるようにする来歴メタデータなど、多層的な安全対策を講じています。また、パートナーによるモデレーションおよび来歴ツールの追加実装もサポートしています」と、Black Forest Labsの広報担当者はWIREDへのメールで述べています。「悪用防止は、開発者、ソーシャルメディアプラットフォーム、そして当局間の連携に加え、多層的な緩和策にかかっており、私たちは今後もこれらの取り組みを支援していきます。」

アタンソワ氏はWIREDに対し、彼女と同僚がレビューした画像にはメタデータが一切含まれていなかったと語った。

オペレーション・オーバーロードはAIを活用し、AI音声複製技術を用いて動画を操作し、著名人が実際には言っていないことを発言しているように見せかけている。このキャンペーンで制作された動画の数は、2023年6月から2024年7月の間に150本だったのに対し、2024年9月から2025年5月の間に367本に急増した。研究者らによると、過去8ヶ月間に制作された動画の大部分は、視聴者を騙すためにAI技術が利用されていたという。

例えば、2月にキャンペーンはXでフランスのモンペリエ大学の上級講師兼研究者であるイザベル・ブルドン氏が登場する動画を公開しました。彼女はドイツ国民に対し、大規模な暴動を起こし、連邦選挙で極右政党「ドイツのための選択肢（AfD）」に投票するよう促しているように聞こえました。これはフェイクでした。この映像は、ブルドン氏が最近受賞した社会科学賞について語っている同大学の公式YouTubeチャンネルの動画から引用されたものです。しかし、この動画ではAI音声複製技術を用いて、彼女がドイツの選挙について語っているように見せかけていました。

Operation Overloadによって生成されたAI生成コンテンツは、600以上のTelegramチャンネルに加え、XやBlueskyといったソーシャルメディアプラットフォームのボットアカウントでも共有されています。ここ数週間、このコンテンツは初めてTikTokでも共有されました。これは5月に初めて確認されたもので、アカウント数はわずか13と少なかったものの、投稿された動画はプラットフォームによってアカウントが降格されるまでに300万回再生されました。

「TikTokのプラットフォームを操作しようとする者に対しては厳重な警戒を敷いており、この報告書に掲載されているアカウントはすでに削除済みです」と、TikTokの広報担当者アナ・ソペル氏はWIREDに語った。「私たちは継続的に秘密裏に影響力行使活動を検出し、阻止し、先手を打つよう努めており、進捗状況を毎月透明性を持って報告しています。」

研究者らは、ブルースカイが偽アカウントの65%を停止した一方で、「Xは、この活動に関する多数の報告と共謀の証拠の増加にもかかわらず、最小限の措置しか講じていない」と指摘した。Xとブルースカイはコメント要請に応じなかった。

オペレーション・オーバーロードによって偽のAI生成コンテンツが作成されると、キャンペーンは異常な行動をとる。世界中の何百ものメディアやファクトチェック組織にメールを送信し、さまざまなプラットフォーム上の偽のコンテンツの例を添付し、ファクトチェッカーにそれが本物かどうかを調査するよう要請するのだ。

偽情報キャンペーンが、偽情報に対処しようとしている人々に自分たちの取り組みについて警告するのは直感に反するように思えるかもしれないが、親ロシア派工作員にとっては、たとえ「FAKE（偽）」という言葉で覆われていたとしても、自分たちのコンテンツを本物のニュースメディアにオンラインで投稿させることが究極の目的なのだ。

研究者らによると、2024年9月以降、最大17万件の同様のメールが240人以上の受信者に送信されたという。メッセージには通常、AIが生成したコンテンツへの複数のリンクが含まれていたが、メールの本文はAIを使用して生成されていなかったと研究者らは述べている。

親ロシア派の偽情報グループは長年、AIツールを用いて偽情報の発信を強化する実験を行ってきました。昨年、ロシア政府と関係があるとみられるCopyCopと呼ばれるグループが、大規模言語モデル（LLM）を用いて、正規のメディアに見せかけた偽ウェブサイトを作成していたことが明らかになりました。こうした試みは通常、大きなトラフィックを生み出すことはありませんが、ソーシャルメディアでのプロモーションによって注目を集め、場合によっては偽情報がGoogle検索結果の上位に表示されることもあります。

アメリカのサンライト・プロジェクトの最近の報告書では、ロシアの偽情報ネットワークが毎年少なくとも300万のAI生成記事を制作しており、こうしたコンテンツがOpenAIのChatGPTやGoogleのGeminiのようなAI搭載チャットボットの出力を汚染していると推定されている。

研究者らは、偽情報工作員がAIツールをどのように活用しているかを繰り返し示してきた。そして、人々が本物のコンテンツとAIが生成したコンテンツを区別することがますます困難になるにつれ、偽情報キャンペーンを煽るAIコンテンツの急増は今後も続くだろうと専門家らは予測している。

「彼らはすでに効果的なレシピを持っている」とアタナソワ氏は言う。「彼らは自分が何をすべきか分かっている。」