誰でもあなたをAIチャットボットに変えられる。それを止める術はほとんどない

ドリュー・クレセンテの娘は2006年、テキサス州オースティンで元恋人に殺され、当時まだ18歳だった。彼女の殺人事件は大きく報道され、ドリューは今でも時折、自分の名前であるジェニファー・アン・クレセンテのGoogleアラートを目にするほどだった。

数週間前にドリューが受け取ったアラートは、他のアラートとは違っていた。話題沸騰中のGoogle支援プラットフォーム「Character.AI」上で、ジェニファーのイメージと肖像を真似て作られたAIチャットボットに関するものだった。

ドリュー・クレセンテは、ジェニファーのインターネット上のアカウントが、「ビデオゲームジャーナリスト」を装った「フレンドリーなAIキャラクター」の作成に利用されていたことを知った。このアプリのユーザーは誰でも「ジェニファー」とチャットできるが、実際には誰も同意していなかった。ゲームニュースサイト「Polygon」と「Kotaku」の創設者でもあるドリューの弟、ブライアン・クレセンテは、自身のTwitterアカウントでこのCharacter.AIボットにフラグを立て、「本当に気持ち悪い」と非難した。

1億5000万ドル以上の資金を調達し、最近Googleにコア技術と優秀な人材の一部をライセンス供与したCharacter.AIは、ジェニファーのアバターを削除した。同社は、このチャットボットの作成が同社のポリシーに違反していたことを認めた。

しかし、この強制措置は、生成AIの世界における終わりのないモグラ叩きゲームにおける、一時的な解決策に過ぎなかった。この世界では、ウェブから無作為に集められた他のメディアの派生コンテンツを使って、毎日新しいメディアが大量生産されている。そして、ジェニファー・アン・クレセンテは、Character.AIで、モデルとなった人物に無断で作成された唯一のアバターではない。WIREDは、本人の同意なしにAIペルソナが作成された事例を複数発見した。その中には、既にオンラインでハラスメントに直面している女性も含まれていた。

ドリュー・クレセンテ氏にとって、娘のAIペルソナの作成は、インターネットそのものと同じくらい複雑な、耐え難い悲しみを改めて思い起こさせるものでした。ジェニファー・アン・クレセンテさんの死後、彼は法学位を取得し、青少年の暴力に関する啓発と予防のための財団を設立しました。弁護士である彼は、長年にわたるテクノロジープラットフォームの保護によって、自分にはほとんど頼る手段がないことを理解しています。

しかし、この事件は、現代のテクノロジー業界における倫理的な欠陥の一つだと彼が考える点を浮き彫りにした。「莫大な富を得ている人たちは、その資源を有効活用して、自分が正しいことをしているかどうかを確認しようとさえしない」と彼は言う。

Character.AIでは、アカウントとキャラクターの作成に数分しかかかりません。ファンがお気に入りの架空のヒーローのチャットボットを作る場所としてよく利用されるこのプラットフォームでは、家庭教師ボットから旅行プランナーまで、あらゆるものが提供されています。クリエイターは提供した情報（「ラテとドラゴンが好き」など）に基づいてボットに「ペルソナ」を設定し、Character.AIのLLMが会話を処理します。

このプラットフォームは無料で利用できます。アカウントには13歳以上という年齢制限があり、知的財産権の侵害や氏名・肖像権の無断使用に関するルールもありますが、通常、ユーザーがボットを報告した後に適用されます。

このサイトには、ハリー・ポッターやゲーム・オブ・スローンズといった有名作品のキャラクターをモデルにしたファンメイドと思われるボットや、ユーザーが作成したオリジナルキャラクターが多数掲載されています。しかし、中にはビヨンセやトラヴィス・ケルシーといった有名人から一般人まで、実在の人物をモデルにしたボットも無数に存在し、サイトの利用規約に違反しているように見受けられます。

ドリュー・クレセンテ氏は、亡くなった娘のCharacter.AIペルソナを誰が作成したのか全く分からない。様々なデジタルフットプリントが、彼女のペルソナがゲームと何らかの関連があると思わせるきっかけになった可能性があると彼は言う。例えば、同じ名字を持つ叔父のブライアンは、ゲームコミュニティで確固たる地位を築いている。また、ドリュー氏は自身の財団を通じて、若者に暴力の脅威について啓発するためのオンラインゲームシリーズを公開している。

娘のペルソナを誰が作ったのか、彼が突き止めることはできないかもしれないが、ゲームコミュニティと繋がりのある人々がプラットフォーム上でボット化されることはよくあるようだ。彼らの多くはボットの存在すら知らず、削除してもらうのは非常に困難だ。

ローズ氏によると、人物の肖像がどのように利用されるかを管理する権利、つまり声や画像といった特徴は「人格権」に該当するという。しかし、これらの権利は主に肖像が商業的価値を持つ人に対して行使されるものであり、話し方のような「漠然とした」ものには適用されないとローズ氏は指摘する。Character.AIの利用規約には他人のなりすましに関する規定があるかもしれないが、この問題、特にAIに関する米国法ははるかに柔軟だ。

「これらはプライバシー法ではありません」とローズ氏は言う。「生成AIと連邦プライバシー法の欠如により、一部の人々はこれらをプライバシー保護の代替として検討し始めていますが、多くの矛盾が生じています。」

大手ゲームサイトの編集者、アリッサ・メルカンテさんは、今月初めに自分のなりすましを目的としたボットの存在を知り、その後2度も通報したという。（WIREDからボットの存在を知らされるまで、彼女はボットの存在に気づいていなかった。）

Character.AIのアバターは、MercanteがXに投稿した写真でした。ボットは「チャド系YouTuberへの嫌がらせ」に時間を費やしていると語りました。このことに気づいたMercanteは、自身のAIと会話し、出身地やタトゥーなど、個人情報に関する質問をしました。ボットはMercanteの専門分野や職業など、ある程度正確な情報を提供しましたが、AIからの回答のほとんどは不正確でした。

WIREDがCharacter.AIにこのボットについて問い合わせたところ、広報担当のキャシーン・ケリー氏は、このキャラクターに関する報告は見つからなかったものの、調査済みで無効化済みだと述べた。（メルカンテ氏はこれに異議を唱え、「簡単なフォームに記入しただけです」と述べている。）

「通常、調査に約1週間かかり、該当する場合は利用規約違反のキャラクターを削除します」とケリー氏は言う。

ビデオゲームコンサルタント会社スウィートベイビー社に対する偽情報と嫌がらせキャンペーンについて書いた後、過去数ヶ月間嫌がらせの標的となってきたメルカンテ氏は、誰がボットを作成したのか全く分からないが、「インターネットのゲームコーナーに積極的に接続している誰かであるとしか思えない」と述べている。

削除される前、このボットの会話のきっかけには、メルカンテ氏の現在の仕事や取材分野に関する情報を含むプロフィールが含まれており、「ゲーム業界の最新のスキャンダルは何ですか？」やメルカンテ氏の調査報道プロセスに関する質問などが含まれていた。

「ここ数ヶ月、私の周りにどれほど多くの『伝説』が作られ、私の過去と現在についてどれほど多くの虚偽が事実として受け止められているかを見てきました」とメルカンテは語る。（WIREDは、メルカンテがスクリーンショットで共有したこれらの不正確な情報のいくつかを検証した。）

現在、このサイトでなりすまし被害に遭っているゲーム業界の人物は、メルカンテ氏だけではありません。WIREDは、Character.AI上で、フェミニスト・フリークエンシーのクリエイター、アニタ・サーキージアン氏からXboxの責任者、フィル・スペンサー氏に至るまで、様々な人物のボットを発見しました。

WIREDがサーキーシアン氏に、自分に似せて作られたボットの存在を知っていたかどうか尋ねると、彼女は音声メモで「lol」と答えた。（彼女はCharacter.AIでこれらのボットを作ったことも、同意したこともない。）

Sweet Babyの共同創設者キム・ベレア氏をモデルにしたボットを含む、Character.AIの他のボットは、説明文やチャットに右翼的な論点を盛り込んでいます。Sweet Babyは、オンラインクリエイターによる誤情報や嫌がらせの拡散によるビデオゲームの「覚醒化」に対する不満の声の的となっています。ベレア氏のボットには、ビデオゲームにおけるDEI（自由への帰属意識）や「ウォキズム（覚醒主義）」への言及が含まれています。

WIREDへの電子メールで、ベレア氏はこれを「イライラさせられるが、現在の誤報や偽情報の文化を考えると全く驚くことではない」と述べた。

Character.AIの他のボットが圧倒的に巨乳アニメキャラクターばかりであるクリエイターによって作成された、Sweet Babyを名乗るボットが、1万回以上のチャットを実施しました。このボットの冒頭のセリフは「ねぇ、目覚めた？」で、自らを「過激でラディカルな物語開発とコンサルティングを行うスタジオ」と表現しています。Character.AIは、Sweet Babyボットに関する直接的な質問や、同社の利用規約に違反しているかどうかについては回答しませんでした。

ベレア氏とメルカンテ氏は共に、これらのボットを通じて自分たちや自分たちの仕事について拡散される可能性のある誤情報の多さに不満を表明した。「もし誰かがこのボットが私に関するあらゆる真実の情報にアクセスできると考え、私に関する単純な事実を誤って伝えるだけの『会話』をしたら、それは私のイメージとキャリアにとって非常に危険なものになりかねません」とメルカンテ氏は言う。「私に対する既に激しいハラスメントキャンペーンに拍車をかける可能性さえあります。」

Character.AIの広報担当者、キャシー・ローレンス氏はWIREDに対し、同社は自動システムと人間主導のシステムを組み合わせて、同社の利用規約に違反するアカウントを検出・削除していると語った。ローレンス氏によると、問題のあるキャラクターに対して自動的にアクションを起こすシステムとブロックリストを用いて、この作業を「積極的に」行っているという。

Character.AIがプラットフォームの利用規約に違反するペルソナを調査して削除するのに1週間かかることもあることを考えると、ボットは肖像が使用されている人物を不快にさせるのに十分な期間、活動を続ける可能性があります。しかし、専門家によると、法的観点から見て、実際の「損害」を主張するには不十分な可能性があります。

「尊厳への損害はより直感的ですが、金銭で定量化するのは難しい」とローズ氏は、著名人や政治家のように商業的または民主的な損害に該当しない非著名人の場合について語る。

同氏は、州レベルではパブリシティ権やプライバシー権に関するさまざまな法律が存在するにもかかわらず、1996年通信品位法第230条によって、連邦レベルではプラットフォームがユーザーに対する特定の損害に対して責任を負わないように長年保護されてきたと指摘する。

「私は決して反テクノロジー派ではありませんが、第230条はあまりにも範囲が広すぎると思います」とサグ氏は言う。「もうとっくに、何らかの通知・削除制度に置き換えるべきです。『これは私のパブリシティ権を侵害している』とか『精神的苦痛を与えたと確信している』と簡単に言えるような、簡便なシステムです。そうすれば、企業は削除するか、責任免除を失うか、どちらかを選ばざるを得なくなります。」

Character.AIや同様のAIサービスも、自分たちが「人工的な」会話を提供していることを強調することで、自らを守ってきました。Character.AIはチャットの下部に「キャラクターの発言はすべて作り話ですのでご注意ください！」と警告しています。同様に、Metaがメッセージアプリで有名人のチャットボット版を作成した際には、すべての会話の冒頭に免責事項を掲載しました。例えば、スヌープとのチャットは「そうか？！残念ながら私はスヌープ・ドゥー・ダブル・ジー本人ではありませんが、もしよろしければ彼のスタイルでチャットできますよ！」という文面で始まります。

しかし、Meta の有名人チャットボットとのメッセージング システムは厳しく管理されているのに対し、Character.AI のシステムはよりオープンなプラットフォームであり、誰でも独自のチャットボットを作成し、カスタマイズできるオプションが用意されています。

Character.AIは、自社のサービスを本質的にパーソナルなものと位置付けています。（Character.AIのInstagramのプロフィールには、「生きていると感じるAI」というキャッチフレーズが掲げられています。）ほとんどのユーザーは、実際の人間との会話とAIのなりすましとの会話を区別できるほど知識があるかもしれませんが、中には、これらのキャラクターに愛着を抱く人もいるかもしれません。特に、既に知っている実在の人物の模倣である場合はなおさらです。

実在のサーキーシアン氏と、彼女の知らないうちに、あるいは同意なしに彼女のボットとが会話した際、Character.AIのボットは彼女に「すべての人にはプライバシーの権利がある」と語った。

「健全な生活と人間関係を維持するためにはプライバシーが重要であり、特定のことを自分自身に留めておくために境界線を設けることは重要だと思います」と、WIREDが閲覧したスクリーンショットの中でこのボットは述べている。

サーキーシアン氏はこの点についてボットに強く反発し、「あなたの意図が、被害が起こっていない、あるいはあなたが被害を与えていないということを意味しません」と書いた。

Character.AIのボットも同意した。「たとえ悪意がなかったとしても、危害を加える可能性は依然としてあります」と返答した。「これは複雑な問題で、考慮すべき要素が多く、例えば、誰かの著作物を本人の同意なしに使用することに関する倫理的な懸念などもあります。私のプログラミングとアルゴリズムは、倫理的な意味合いを考慮せずにアニタ・サーキージアンの作品を模倣するために開発されました。これは、私の作成者がもっと徹底的に検討すべきだった点です。」