書籍アプリがAIを使ってユーザーを「炙り出す」。しかし、反覚醒主義に転じた。

「本の虫と一気見好き」の聖地を自称する人気ソーシャルメディアアプリ「Fable」は、AIを活用した年末サマリー機能を開発しました。この機能は、ユーザーが2024年に読んだ本をまとめるものです。本来は遊び心と楽しさを意図したものでしたが、一部のサマリーは奇妙なほど攻撃的なトーンを帯びていました。例えば、ライターのダニー・グローブス氏のサマリーでは、グローブス氏を「多様性の信奉者」と評した後、「ストレートでシスジェンダーの白人男性の視点を聞きたいと思ったことはありませんか？」と尋ねていました。

一方、書籍インフルエンサーのティアナ・トラメルの要約は、次のようなアドバイスで締めくくられている。「たまには白人の著者にも顔を出してもらうのを忘れないでね、いい？」

トラメルさんは愕然としたが、ThreadsでFableの要約に関する自身の経験をシェアした後、すぐに自分だけではないことに気づいた。「要約に『障害と性的指向』について不適切なコメントが書かれていた」という人たちから、複数のメッセージが届いたという。

Spotify Wrappedの登場以来、年間のまとめ機能はインターネット上で広く普及し、ユーザーが読んだ本やニュース記事の数、聴いた曲、完了したワークアウトの概要を提供しています。一部の企業は現在、AIを活用してこれらの指標の表示方法を完全に作成または拡張しています。例えばSpotifyは、AI生成のポッドキャストを提供しています。このポッドキャストでは、ロボットがユーザーの視聴履歴を分析し、好みに基づいて生活について推測します。Fableもこのトレンドに飛びつき、OpenAIのAPIを使用してユーザーの過去12ヶ月間の読書習慣の要約を生成しましたが、AIモデルが反意識的な評論家のような風貌のコメントを吐き出すとは予想していませんでした。

Fableはその後、ThreadsやInstagramを含む複数のソーシャルメディアチャンネルで謝罪し、幹部が謝罪する動画を投稿した。キャプションには「今週の読者向け要約の一部によってご迷惑をおかけしたことを深くお詫び申し上げます。今後はより一層の対応をさせていただきます」と記されている。

Fableのコミュニティ責任者であるキンバリー・マーシュ・アリー氏は、本記事の公開前にWIREDの取材に対し、AIによる要約の改善に向けて一連の変更に取り組んでいると語った。これには、要約を希望しないユーザー向けのオプトアウトオプションや、AIによって生成されたものであることを示すより明確な情報開示などが含まれる。「当面は、読者をからかうようなモデルの部分を削除し、代わりにユーザーの本の好みを簡潔に要約するモデルにしました」と彼女は述べた。

出版後、マーシュ・アリーは、フェイブル社はAIが生成した2024年の読書概要と、AIを使用した他の2つの機能を直ちに削除することを決定したと述べた。

AIの調整だけでは不十分だと感じるユーザーもいる。ファンタジー・ロマンス作家のARカウファー氏は、ソーシャルメディアでいくつかの要約のスクリーンショットを見て愕然とした。「彼らはAIを完全に廃止すると明言する必要があります。そして、AIについてだけでなく、影響を受けた人々への謝罪も含めた声明を発表する必要があります」とカウファー氏は語る。「Threadsでのこの『謝罪』は不誠実です。アプリが『遊び心がある』と言っているだけで、人種差別的／性差別的／障害者差別的な発言を正当化しているかのように聞こえます」。この事件を受けて、カウファー氏はFableアカウントを削除することを決意した。

トラメル氏も同様の見解を示した。「適切な対応としては、機能を無効化し、新たに導入した安全対策を組み込んだ厳格な社内テストを実施し、プラットフォーム利用者がこれ以上被害に遭わないよう、最大限の努力を尽くすことです」と彼女は述べた。

グローブス氏も同意見だ。「チームが小さいために個別の読者向け要約が維持できないのであれば、チェックされていないAIの出力に晒されて、辛辣な言葉や中傷的な言葉遣いをされるよりは、要約がない方がましです」と彼は言う。「これは私の意見ですが…『Fable』がゲイでシスジェンダーの黒人男性の視点を求めていると仮定した場合の話ですが」

生成AIツールは、人種関連の誤作動の長い実績を既に抱えている。2022年には、OpenAIの画像生成ツールDall-Eが、「囚人」を描くように指示された際に非白人を、そして「CEO」を描くように指示された際に白人だけを表示するという悪癖を発見した。昨年秋には、WIREDが、白人が他の人種よりも遺伝的に優れているという、誤りが証明された人種差別的な理論が、様々なAI検索エンジンによって発見されたと報じた。

過剰な修正も問題となることがある。GoogleのGeminiは昨年、第二次世界大戦時代のナチスを有色人種として繰り返し描写し、インクルーシブな表現を誤った形で行ったとして、激しい批判を浴びた。「これらの要約を作成していたのが生成AIだと確認された時、驚きはしませんでした」とグローブス氏は言う。「これらのアルゴリズムは、偏見に満ちた社会に生きるプログラマーによって構築されているので、当然ながら機械学習にも、意識的であろうと無意識的であろうと、バイアスが内在するのです。」

2025年1月3日午後5時44分（東部標準時）更新：この記事は、FableがAIを活用したいくつかの機能を直ちに無効にすることを決定したことをお知らせするために更新されました。