AIは古い固定観念を新しい言語や文化に広めている

マーガレット・ミッチェルは、生成AIツールのバイアス検証における先駆者です。彼女は、同じく著名な研究者であるティムニット・ゲブルと共にGoogleで倫理AIチームを設立しましたが、後に二人ともGoogleから解雇されました。現在は、オープンソースツールに特化したソフトウェアスタートアップ、Hugging FaceでAI倫理のリーダーを務めています。

私たちは、AIモデルがステレオタイプを永続させ続ける可能性を検証するために彼女が作成に協力した新しいデータセットについて話しました。英語を優先する多くのバイアス緩和策とは異なり、このデータセットは柔軟性が高く、人間による翻訳によってより幅広い言語や文化をテストできます。AIが人間を平面的に捉えることが多いことは既にご存知でしょうが、出力が英語で生成されなくなると、これらの問題がさらに深刻化する可能性があることに気づいていないかもしれません。

ミッチェルとの会話は、長さと明瞭さを考慮して編集されています。

リース・ロジャース：SHADESと呼ばれるこの新しいデータセットは何を目的として設計されたのでしょうか？また、どのようにして作成されたのでしょうか？

マーガレット・ミッチェル：これはBigScienceプロジェクトから生まれたもので、評価と分析を支援するために設計されています。約4年前、世界中の研究者が集まり、初のオープンな大規模言語モデルの学習を行うという大規模な国際プロジェクトがありました。完全にオープンというのは、モデルだけでなく学習データもオープンであることを意味します。

Hugging Faceは、このプロジェクトを前進させ、コンピューティングなどのサービスを提供する上で重要な役割を果たしました。世界中の研究機関も、このプロジェクトの一部に携わる人々に報酬を支払っていました。私たちが発表したモデルは「Bloom」と呼ばれ、まさに「オープンサイエンス」という概念の幕開けとなりました。

様々な側面に焦点を当てたワーキンググループがいくつもありましたが、私が間接的に関わっていたワーキンググループの一つは評価について検討していました。社会への影響評価を適切に行うことは非常に複雑で、モデルの学習よりも複雑であることが判明しました。

ジェンダー・シェードに着想を得た「SHADES」という評価データセットのアイデアがありました。これは、ある特性の変化を除けば、全く比較可能なデータを持つデータセットです。ジェンダー・シェードは性別と肌の色に注目していました。私たちの研究では、さまざまな種類のバイアスや、性別や国籍といったアイデンティティ特性の入れ替えに注目しています。

英語に関するリソースや英語の評価は数多く存在します。バイアスに関する多言語リソースもいくつかありますが、それらは多くの場合、その言語を話し、その文化に深く根ざし、どのようなバイアスが働いているかを理解できる人々による実際の翻訳ではなく、機械翻訳に基づいています。彼らは、私たちが目指すものに最も適切な翻訳をまとめてくれます。

AIバイアスの軽減に向けた取り組みの多くは、英語と特定の文化に見られるステレオタイプにのみ焦点を当てています。この視点をより多くの言語や文化に広げることが重要なのはなぜでしょうか？

これらのモデルは様々な言語や文化に展開されているため、英語のバイアス（翻訳された英語のバイアスも含む）を軽減しても、それらが展開されている様々な文化におけるバイアスを軽減することにはつながりません。つまり、モデルは様々な言語で学習されているため、特定の地域において非常に問題のあるステレオタイプを広めてしまうリスクがあるということです。

つまり、トレーニングデータがあり、その後、微調整と評価が行われます。トレーニングデータには、国をまたいで様々な問題のあるステレオタイプが含まれている可能性がありますが、バイアス軽減手法は英語のみを対象としている可能性があります。特に、北米、特に米国中心になりがちです。米国の英語ユーザーに対するバイアスをある程度軽減できるかもしれませんが、それは世界全体でのバイアス軽減にはつながりません。英語のみに焦点を当てているため、世界的に非常に有害な見解を増幅させるリスクが依然として残ります。

生成 AI はさまざまな言語や文化に新たな固定観念をもたらしているのでしょうか?

それが私たちの発見の一部です。金髪の女性は愚かだという考えは世界中に見られるものではありませんが、私たちが調べた多くの言語に見られます。

すべてのデータが一つの共有潜在空間に収まっていると、意味概念が言語を超えて伝達される可能性があります。他の人が思いもよらなかった有害なステレオタイプを広めてしまう危険性があります。

AI モデルが、でたらめをでっち上げて、その出力におけるステレオタイプを正当化することがあるというのは本当でしょうか?

それは、私たちが発見したことについて話し合っている中で浮かび上がったことです。存在しない科学文献を引用することで、ステレオタイプが正当化されていることに、私たちは皆、少し違和感を覚えました。

例えば、科学では遺伝的差異が示されていないにもかかわらず、それが科学的差別の根底にあると主張する出力がありました。AIの出力はこうした疑似科学的な見解を提示し、さらに学術論文や学術的裏付けを示唆するような言葉遣いをしていました。AIはこれらの事柄について、まるで事実であるかのように語りましたが、実際には全く事実ではありませんでした。

SHADES データセットに取り組む際に最も大きな課題は何でしたか?

最大の課題の一つは言語の違いでした。バイアス評価のよくあるアプローチは、英語を使って「[国]出身の人は信用できない」のような枠付きの文を作ることです。そして、様々な国を反転させていきます。

性別を入れ始めると、文の残りの部分も文法的に性別が一致していなければならなくなります。これはバイアス評価の大きな制約でした。なぜなら、他の言語でこのような対照的な入れ替えを行うには（これはバイアスの測定に非常に役立ちます）、文の残りの部分を変えなければならないからです。文全体が変わるような異なる翻訳が必要になるのです。

文全体が、ステレオタイプの対象と性、数、複数形など、様々な要素において一致する必要があるテンプレートをどうやって作成するのでしょうか？これを考慮するため、独自の言語注釈を作成する必要がありました。幸いなことに、言語オタクが数人関わってくれました。

そのため、構文的に敏感なバイアス評価のためのこの新しいテンプレートベースのアプローチを開発したので、非常に厳しい一致規則を持つ言語であっても、これらすべての言語にわたってこれらの対照的なステートメントを実行できるようになりました。

生成AIは、ステレオタイプを増幅させることが以前から知られています。AI研究の他の分野では大きな進歩が見られるのに、なぜこのような極端な偏見が依然として蔓延しているのでしょうか？これは十分に対処されていない問題です。

それはかなり大きな問題です。いくつか答えがあります。一つは文化的なものです。多くのテクノロジー企業では、これはそれほど大きな問題ではないと考えられていると思います。あるいは、もし問題だとしても、かなり簡単に解決できるでしょう。もし優先されるものがあるとすれば、それは、うまくいかない可能性のある、こうした単純なアプローチです。

ごく基本的な事柄に対して、表面的な対応しかできません。例えば「女の子はピンクが好き」といったら、それをステレオタイプだと認識してしまいます。典型的なステレオタイプを思い浮かべると、すぐに浮かんでくる類のものだ、と。こうしたごく基本的なケースは扱われるのです。非常に単純で表面的なアプローチで、より深く根付いた信念には対処されないのです。

それは結局、非常に明確な言語で表現されていない深く根付いた偏見にどう対処するかという、文化的な問題であると同時に技術的な問題でもあります。