AIは男性を見ると「正式」と判断。女性なら「スマイル」

男性は女性を外見で判断することが多い。実はコンピューターも同じことをするらしい。

欧米の研究者が議員の写真をGoogleのクラウド画像認識サービスに入力したところ、女性の写真には男性の3倍もの身体的特徴に関する注釈が付与された。男性に最も多く付けられたラベルは「役人」と「ビジネスマン」だったのに対し、女性には「笑顔」と「顎」だった。

「その結果、女性は地位が低いという固定観念を抱くことになります。女性は見た目を良くするために存在し、男性はビジネスリーダーであるという固定観念です」と、ドイツ・ケルンのGESISライプニッツ社会科学研究所の博士研究員であるカーステン・シュヴェマー氏は述べている。彼は、ニューヨーク大学、アメリカン大学、ユニバーシティ・カレッジ・ダブリン、ミシガン大学、そして非営利団体カリフォルニアYIMBYの研究者らと共同で、先週発表されたこの研究に取り組んだ。

研究者たちは、Googleの人工知能画像サービスと、ライバルであるAmazonおよびMicrosoftのサービスに機械視覚テストを実施しました。クラウドワーカーは、議員の公式写真や議員がツイートした画像にこれらのサービスが付与した注釈を審査する報酬を得ました。

AIサービスは、人間の審査員が写真から見ることができるものを概ね認識していました。しかし、女性と男性については異なる点に気づく傾向があり、女性は外見によって特徴づけられる傾向がはるかに強かったのです。女性議員は「女性」や「美人」といったタグが付けられることが多かったのです。AIサービスは女性を全く認識しない傾向があり、男性よりも女性を認識できないことが多かったのです。

この研究は、アルゴリズムが世界を数学的な視点から見ているのではなく、むしろ歴史的文化的偏見を再現、あるいは増幅させる傾向があるという証拠をさらに深めるものである。この研究は、2018年に行われた「ジェンダー・シェード」と呼ばれるプロジェクトに一部触発されたもので、このプロジェクトでは、マイクロソフトとIBMのAIクラウドサービスは白人男性の性別識別においては非常に正確である一方、黒人女性の性別識別においては非常に不正確であることが示された。

この新たな研究は先週発表されたが、研究者らは2018年にAIサービスからデータを収集していた。カリフォルニア州上院議員の男性10人と女性10人の公式写真を使ったWIREDの実験では、この研究結果が今でも有効であることを示唆している。

ブレザーを着た女性の説明ラベルとパーセンテージが表示された Google API ページ

20人の議員全員が公式写真で笑顔を見せている。Googleが推奨する上位のラベルでは、男性議員は1人だけ笑顔と表示されていたが、女性議員は7人笑顔だった。同社のAI視覚サービスは、男性議員10人全員を「ビジネスマン」とラベル付けし、多くの場合「公務員」や「ホワイトカラー」も併せてラベル付けした。女性議員のうち、これらの用語を1つ以上付与されたのはわずか5人だった。女性議員には、「肌」「髪型」「首」といった外見に関するタグも付与されたが、これらは男性議員には付与されなかった。

AmazonとMicrosoftのサービスは、それほど明白な偏りは見られないように見えたが、Amazonは10人の女性上院議員のうち2人が「少女」または「子供」であると99%以上の確信度で報告した。10人の男性議員のうち誰も未成年ではないと示唆したわけではなかった。Microsoftのサービスは男性議員全員の性別を特定したが、女性議員のうち8人だけを特定し、そのうち1人を男性と判定したが、もう1人の性別は特定しなかった。

Googleは今年初め、AIビジョンサービスの性別判定を停止しました。外見から性別を推測することはできないとしているからです。Googleクラウド部門の責任あるAI担当マネージングディレクター、トレイシー・フレイ氏は、同社は引き続き偏見の軽減に取り組んでおり、外部からの意見も歓迎していると述べています。「私たちは常に改善に努めており、この分野での研究をさらに進めるために、学術研究者などの外部の関係者と協力を続けています」と彼女は述べています。AmazonとMicrosoftはコメントを控えています。両社のサービスは性別を二元的にしか認識していないためです。

この欧米共同研究は、テキサス州で撮影された、米国国境警備隊員が母親を拘束する中、涙を流すホンジュラスの幼児を映した、印象的な受賞歴のある画像を研究者がGoogleの視覚サービスに入力した際に起きた出来事に着想を得た。GoogleのAIは「楽しい」を含むラベルを77%のスコアで提示し、「子供」ラベルに与えた52%のスコアを上回った。WIREDは水曜日にこの画像をGoogleのサービスにアップロードした後、同じ提案を受けた。

シュウェマー氏と同僚たちは、人々が画像を使ってオンラインで政治について語る際のパターンを測定できるのではないかと期待し、Googleのサービスを試し始めた。その後、画像サービスにおけるジェンダーバイアスの発見に尽力したことで、この技術は研究者がそのような用途に使える段階には至っておらず、企業がこうしたサービスを利用すれば望ましくない結果を招く可能性があると確信した。「現実を完全に歪めた画像を得る可能性がある」と彼は言う。歪んだAIサービスを使って膨大な写真コレクションを整理した企業は、意図せず女性ビジネスパーソンを見えにくくし、笑顔でインデックス化してしまう可能性があるのだ。

トラックの横で子供が泣いていて、大人が…している画像の説明ラベルとパーセンテージが記載された Google API ページ。

先行研究で、視覚アルゴリズムの学習に使用されたラベル付き写真のデータセットには、女性が料理をしているのに対し男性が撮影しているなど、顕著なジェンダーバイアスが見られることが分かっています。この偏りは、研究者がオンラインで画像を収集していることに一部起因しているようです。オンラインで収集された画像は、例えばビジネスウーマンよりもビジネスマンの写真が多いなど、社会的なバイアスを反映しています。これらのデータセットで学習された機械学習ソフトウェアは、基になる写真コレクションのバイアスを増幅させることが判明しました。

シュウェマー氏は、偏ったトレーニングデータによって、このテクノロジー大手の AI サービスで新たな研究で発見された偏りを説明できるかもしれないと考えているが、システムに完全にアクセスしなければそれを知ることは不可能だ。

AIシステムの欠陥やバイアスの診断と修正は、近年、注目されている研究テーマとなっています。人間は画像内の微妙な文脈を瞬時に理解できるのに対し、AIソフトウェアはピクセルのパターンにのみ焦点を絞っているため、誤解が生じる可能性が高くなります。アルゴリズムの画像処理能力が向上するにつれて、この問題はより深刻になっています。「今やAIはあらゆる場所で活用されています」と、プリンストン大学の助教授オルガ・ルサコフスキー氏は述べています。「ですから、AIが世界に対して正しい働きをし、意図しない結果が生じないようにする必要があります。」

ネクタイとジャケットを着た男性の画像の説明ラベルとパーセンテージが表示された Google API ページ

この問題への一つのアプローチは、機械学習システムの偏りの根本原因となり得るトレーニングデータの改善に取り組むことです。ルサコフスキー氏は、画像コレクションに埋め込まれた、地理的条件や性別などを含むバイアスを自動的に検出できる「REVISE」と呼ばれるツールの開発に取り組んでいるプリンストン大学のプロジェクトに参加しています。

研究者らがこのツールをGoogleが管理する900万枚の写真からなるOpen Imagesコレクションに適用したところ、屋外やスポーツフィールドでは男性が女性よりも多くタグ付けされていることが分かりました。また、「スポーツユニフォーム」のタグが付けられた男性は、主に屋外で野球などのスポーツをしているのに対し、女性は屋内でバスケットボールをしたり水着を着たりしていました。プリンストン大学の研究チームは、スポーツをする女性など、屋外で女性が写っている画像をもっと追加することを提案しました。

GoogleとAI分野の競合他社は、AIにおける公平性とバイアスに関する研究に大きく貢献しています。これには、AIソフトウェアやデータセットの限界や内容を開発者に伝えるための標準化された方法、つまりAIの栄養成分表示のような方法を構築するという構想の検討も含まれます。

Googleは「モデルカード」と呼ばれるフォーマットを開発し、クラウドビジョンサービスの顔と物体の検出コンポーネントに関するカードを公開しました。あるカードでは、Googleの顔検出機能は性別に関係なくほぼ同様に動作すると主張していますが、AIによる性別バイアスがどのような形で現れるかについては言及されていません。

WIREDのその他の素晴らしい記事