ディープフェイクは進化している。この企業はそれをすべて捕まえようとしている

不正な求職者が契約金を受け取って逃走する一連の詐欺事件を受けて、フォーチュン500企業の一部は、ライブビデオ通話で実在の人物のディープフェイクを見分けられるソフトウェアのテストを開始した。

この検出技術は、カリフォルニア大学バークレー校の教授であり、ディープフェイクや画像・動画操作の権威として知られるハニー・ファリド氏が設立した新会社、GetReal Labs が提供するものだ。

GetReal Labsは、人工知能（AI）または手動によって生成または操作された画像、音声、動画を検出するためのツールスイートを開発しました。同社のソフトウェアは、ビデオ通話中の顔を分析し、人工的に生成され、実在の人物の顔にすり替えられた可能性を示唆する手がかりを見つけることができます。

「これは単なる空想上の攻撃ではなく、私たちもますます耳にするようになりました」とファリド氏は言う。「中には、知的財産権を狙って企業に侵入しようとしているケースもあります。また、契約金を奪うなど、純粋に金銭目的のケースもあるようです。」

FBIは2022年、ビデオ通話中に実在の人物になりすますディープフェイクの求職者について警告を発しました。英国に拠点を置く設計・エンジニアリング会社Arupは、同社のCFOを装ったディープフェイク詐欺師によって2,500万ドルの損失を被りました。恋愛詐欺師もこの技術を採用し、何も知らない被害者から貯蓄を詐取しています。

ライブ動画で実在の人物になりすますことは、AIのおかげで今や現実を揺るがすようなトリックのほんの一例に過ぎません。大規模な言語モデルはオンラインチャットで実在の人物をリアルに模倣することができ、OpenAIのSoraのようなツールを使えば短い動画も生成できます。近年のAIの目覚ましい進歩により、ディープフェイクはよりリアルになり、より手軽に利用できるようになりました。無料ソフトウェアを使えばディープフェイクのスキルを磨くのも簡単で、手軽に利用できるAIツールを使えば、テキストプロンプトをリアルな写真や動画に変換できます。

しかし、ライブ動画で人物になりすますことは、比較的新しい分野です。この種のディープフェイクの作成には、通常、機械学習と顔追跡アルゴリズムを組み合わせて、偽の顔を本物の顔にシームレスに合成する手法が用いられます。これにより、侵入者は不正な肖像が画面上で何を言ったり、何をしたりするかを制御できるようになります。

ファリド氏はWIREDに対し、GetReal Labsの技術デモを行った。企業の役員会議室の写真を見せると、このソフトウェアは画像に関連付けられたメタデータを分析し、改ざんの兆候を探します。OpenAI、Google、Metaといった大手AI企業は現在、AI生成画像にデジタル署名を付与しており、真正性を証明する確実な手段を提供しています。しかし、すべてのツールがこのようなスタンプを提供しているわけではなく、オープンソースの画像生成ツールでは設定により付与しないようにすることも可能です。また、メタデータは簡単に操作できるという欠点もあります。

GetReal Labsは、本物と偽物の画像や動画を区別するように訓練された複数のAIモデルを活用し、偽造の可能性の高い画像や動画をフラグ付けしています。AIと従来のフォレンジックを組み合わせた他のツールは、ユーザーが画像を精査し、視覚的および物理的な矛盾点を見つけるのに役立ちます。例えば、同じ光源にもかかわらず異なる方向を向いている影や、影を落とした物体と一致しないように見える影を強調表示します。

遠近法で表示されたさまざまなオブジェクトに描かれた線も、実際の画像の場合と同様に、共通の消失点に収束するかどうかを示します。

ディープフェイクの検出を約束する他のスタートアップ企業はAIに大きく依存しているが、ファリド氏は、メディア操作の検出には人手によるフォレンジック分析も不可欠になるだろうと述べている。「この問題の解決策はAIモデルを訓練することだけだと言う人は、愚か者か嘘つきだ」と彼は言う。

現実を直視する必要はフォーチュン500企業だけにとどまりません。ディープフェイクや操作されたメディアは既に政治の世界で大きな問題となっており、ファリド氏は自社の技術がこの分野で真に貢献できると期待しています。WIREDの選挙プロジェクトは、インド、インドネシア、南アフリカなどの選挙で候補者を優遇したり中傷したりするために利用されるディープフェイクを追跡しています。米国では昨年1月、ニューハンプシャー州大統領予備選への投票を思いとどまらせるため、ジョー・バイデン氏を装った偽のロボコールが流布されました。選挙関連の「チープフェイク」動画は誤解を招くような編集が施されており、最近では拡散しています。また、ロシアの偽情報工作部隊は、AIを駆使してジョー・バイデン氏を中傷する動画を拡散しています。

ピッツバーグのカーネギーメロン大学のコンピュータ科学者で、『Moral AI』の共著者でもあるヴィンセント・コニツァー氏は、AIによる偽造が今後さらに蔓延し、より悪質になると予想している。つまり、偽造に対抗するためのツールへの需要が高まるだろうと彼は言う。

「これは軍拡競争です」とコニツァー氏は言う。「たとえ今、ディープフェイクを見抜くのに非常に効果的なものがあったとしても、それが次世代のディープフェイクを見抜くのにも効果的だという保証はありません。優れた検出技術が、次世代のディープフェイクがその検出技術をすり抜けるように訓練するために使われる可能性さえあります。」

GetReal Labsも、ディープフェイクへの対応は絶え間ない戦いになるだろうと同意している。GetReal Labsの共同創業者であり、コンピュータセキュリティ業界のベテランであるテッド・シュライン氏は、サイバー犯罪者がディープフェイク技術に精通し、巧妙な新たな詐欺を考案するようになるにつれ、誰もが何らかの形のディープフェイクによる欺瞞に直面する日もそう遠くないだろうと述べている。さらに、操作されたメディアは多くの最高セキュリティ責任者にとって最大の懸念事項だと付け加えた。「偽情報は新たなマルウェアだ」とシュライン氏は語る。

ファリド氏は、政治的言説を著しく毒する可能性のあるメディア操作は、より困難な問題と言えるかもしれないと指摘する。「コンピューターをリセットしたり、新しいものを買ったりすることはできます」と彼は言う。「しかし、人間の精神を毒することは、私たちの民主主義にとって実存的な脅威です。」