Gfycat、ディープフェイクポルノ対策に人工知能を活用

顔認識と機械学習プログラムは正式に民主化され、当然のことながらインターネットはこれらの技術をポルノ制作に利用しています。Motherboardが最初に報じたように、AIを活用した顔入れ替えポルノが制作されるようになり、有名人の顔をポルノスターの体にマッピングしたものが多く見られます。例えば、ガル・ガドットが義理の兄弟と寝ていると思われる動画で、彼女の顔が顔にマッピングされています。こうしたいわゆるディープフェイクの阻止はReddit、Pornhub、その他のコミュニティにとって課題となっていますが、GIFホスティング企業Gfycatは、より良い解決策を見つけたと考えています。

ディープフェイクを取り締まるプラットフォームの多くは、キーワードによる禁止やユーザーによるコンテンツの手動フラグ設定に頼っていますが、Gfycatは、偽の動画を見分けるために人工知能を訓練する方法を開発したと発表しました。この技術は、Gfycatがプラットフォーム上のGIFをインデックスするために既に使用している複数のツールを基盤としています。この新技術は、テクノロジープラットフォームが将来、偽のビジュアルコンテンツとどのように戦おうとしているかを示しています。Snapchatのようなプラットフォームがクラウドソーシング動画をジャーナリズムに取り入れようとしているため、この戦いはますます重要になるでしょう。

1日あたり少なくとも2億人のアクティブユーザーを抱えるGfycatは、Reddit、Pornhub、Discordがこれまで行ってきた方法よりも包括的なアプローチでディープフェイクをプラットフォームから排除しようとしています。Mashableは月曜日、Pornhubが数百万回再生されたものも含め、多数のディープフェイク動画をサイトから削除できていないと報じました（これらの動画は記事公開後に削除されました）。Redditは今月初めに複数のディープフェイクコミュニティを禁止しましたが、r/DeepFakesRequestsやr/deepfauxといった関連サブレディットは、WIREDが本記事の取材中にRedditに報告するまでは残っていました。

こうした努力を軽視すべきではない。しかし、同時に、広大なインターネットプラットフォームを人力で管理することがいかに難しいかを示している。特に、人間を必要とせず、コンピューターが自らディープフェイクを見分けられる可能性があるとなればなおさらだ。

AIが仕事に就く

GfycatのAIアプローチは、同社が既に開発している2つのツールを活用しています。どちらも（もちろん）ネコ科の動物にちなんで名付けられています。Project AngoraとProject Maruです。ユーザーが例えばテイラー・スウィフトの低画質GIF画像をGfycatにアップロードすると、Project Angoraはウェブ上で高解像度版を検索し、それを置き換えます。つまり、スウィフトが「Shake It Off」を歌っている同じクリップを見つけて、より高画質版をアップロードできるのです。

さて、もしあなたが動画に「テイラー・スウィフト」というタグを付けなかったとしましょう。問題ありません。Project Maruは個々の顔を識別し、GIFに自動的にスウィフトの名前をタグ付けするそうです。これはGfycatの視点からすれば理にかなっています。Gfycatは、ユーザーが毎月プラットフォームにアップロードする何百万もの動画をインデックス化したいと考えているからです。

ここでディープフェイクの出番です。アマチュアが作成したディープフェイクのほとんどは、完全には信じられるものではありません。よく見ると、フレームが完全に一致していないことがわかります。下の動画では、ドナルド・トランプの顔がアンゲラ・メルケル首相の顔を完全に覆っていません。人間の脳が一部の作業を担い、ある人物の顔を別の人物の顔に変換できなかった部分を埋めているのです。

Project Maruは人間の脳ほど寛容ではありません。GfycatのエンジニアがディープフェイクをAIツールに通すと、例えばニコラス・ケイジに似ていると認識しますが、顔がすべてのフレームで完璧にレンダリングされているわけではないため、一致と判断するには至りません。Maruを使うのは、Gfycatがディープフェイクを見抜く方法の一つです。GIFが有名人に部分的にしか似ていない場合、Gfycatは怪しいと感じます。

Maruだけで全てのディープフェイクを阻止できる可能性は低く、今後ディープフェイクがより巧妙化するにつれて、さらに困難に直面する可能性がある。また、ディープフェイクには有名人の顔ではなく、一般人の顔、さらには作成者が個人的に知っている人物の顔が使われている場合もある。こうした多様性に対抗するため、GfycatはProject Angoraと同様の機能を持つマスキング技術を開発した。

Gfycatが動画が他人の顔に改変されていると疑う場合（例えば、Maruがテイラー・スウィフトだと断言していない場合など）、被害者の顔写真を「マスク」し、その人物の顔と背景の映像が別の場所に存在するかどうかを検索することができます。例えば、トランプ大統領の顔に他人の顔を重ね合わせた動画の場合、AIはインターネットを検索し、元となった一般教書演説の元の映像を探し出します。新しいGIFと元の映像の顔が一致しない場合、AIは動画が改変されていると判断できます。

Gfycatは、偽の天気予報や科学動画など、さまざまな種類の偽コンテンツを検出するため、顔だけでなく、その他の情報もブロックする技術を活用する予定です。「Gfycatはこれまで、コンテンツの分類、管理、モデレーションにおいてAIに大きく依存してきました。AIのイノベーションの加速は、私たちの世界を劇的に変える可能性を秘めており、私たちは今後もこれらの新たな発展に合わせて技術を適応させていきます」と、GfycatのCEO、リチャード・ラバット氏は声明で述べています。

完璧ではない

Gfycatの技術は、少なくとも1つのディープフェイクのシナリオ、つまりオンライン上に存在しない顔と体には機能しません。例えば、2人の人物が出演するセックスビデオを撮影し、別の人物の顔と入れ替えるといったことが考えられます。関係者が有名人でなく、映像がオンライン上に存在しない場合、MaruやAngoraがコンテンツが改変されているかどうかを見分けることは不可能です。

ディープフェイクを作るには、人物の動画や写真の膨大なデータにアクセスする必要があるため、今のところそれはかなりありそうにないシナリオに思えます。しかし、かつての恋人が、被害者の公開されていない動画を携帯電話に保存して利用している可能性も容易に想像できます。

ポルノスターや有名人が登場するディープフェイクであっても、AIが何が起こっているのか判断できない場合があるため、Gfycatは人間のモデレーターを雇用して支援しています。同社はまた、動画がどこで共有されたか、誰がアップロードしたかといったメタデータも活用して、動画がディープフェイクであるかどうかを判断しています。

また、ディープフェイクのすべてが悪意のあるものではありません。電子フロンティア財団がブログ記事で指摘しているように、上記で紹介したメルケル首相とトランプ氏のマッシュアップのような例は、単なる政治的な論評や風刺に過ぎません。また、個人情報保護が必要な人物の匿名化や、合意に基づいて改変されたポルノの作成など、ディープフェイクを使用する正当な理由も存在します。

それでも、多くの人がディープフェイクを不快に感じる理由は容易に理解できます。ディープフェイクは、動画が本物か偽物か見分けがつかない未来の始まりを象徴しており、プロパガンダなどにも広範な影響を及ぼす可能性があります。ロシアは2016年の大統領選挙キャンペーン中にTwitterに偽ボットを大量に投入しました。2020年の選挙でも、候補者自身の偽動画で同様のことをするかもしれません。

長期戦

Gfycatは今のところ潜在的な解決策を提供しているものの、ディープフェイク制作者がその安全策を回避する方法を学ぶのは時間の問題かもしれません。その後の軍拡競争は、何年もかけて展開される可能性があります。

「PornhubやRedditにフォレンジック技術を投入して本物と偽物を確実に見分けられるようになるまでには、まだ数十年かかるでしょう」と、ダートマス大学のコンピューターサイエンス教授で、デジタルフォレンジック、画像分析、人間の知覚を専門とするハニー・ファリド氏は語る。「本当にシステムを騙したいのであれば、ディープフェイクの中にフォレンジックシステムを破壊する方法を組み込むことになるでしょう。」

鍵となるのは、偽造画像を検出するために設計された複数のプロトコルを複数インストールすることです。そうすることで、既存の安全対策をすべて破るようなディープフェイクの作成が極めて困難になります。「偽造を止めることはできませんが、作成を非常に困難にし、非常に時間がかかるようにすることはできます」とファリド氏は言います。

今のところ、Gfycatは過去にディープフェイクを禁止し、サイトのモデレーションに人工知能を活用した唯一のプラットフォームのようです。PornhubとDiscordはどちらも、ディープフェイクの検出にAIを使用していないと回答しました。Redditは、ディープフェイクの検出にAIを使用していたかどうかを明らかにしませんでした。広報担当者は、プラットフォームのモデレーション方法の詳細を公表すると、悪意のある人物がそれらの取り組みを阻止しようとする可能性が高まるため、公表したくないと述べました。Twitterはコメント要請にすぐには回答しませんでした。

毎日何百万本もの動画がウェブにアップロードされ、YouTubeでは毎分推定300分の動画が公開されています。何かが現実ではないことを指摘する人間だけでなく、おそらくコンピューターも必要になるでしょう。

職場でのAI