最高のアルゴリズムでも黒人の顔認識に苦戦

フランス企業Idemiaのアルゴリズムは、100万人単位の顔をスキャンしています。同社の顔認識ソフトウェアは、米国、オーストラリア、フランスの警察に利用されています。Idemiaのソフトウェアは、米国に上陸するクルーズ船の乗客の顔を、税関・国境警備局の記録と照合しています。2017年、FBI高官は議会に対し、Idemiaの技術を用いて3000万枚の顔写真を精査する顔認識システムは「アメリカ国民の安全を守る」のに役立っていると述べました。

しかし、アイデミアのアルゴリズムは必ずしもすべての顔を同じように鮮明に認識できるわけではない。米国国立標準技術研究所（NIST）が7月に実施したテスト結果によると、アイデミアの最新アルゴリズム2つは、白人女性や黒人男性、白人男性よりも黒人女性の顔を混同する確率が著しく高いことが示された。

NISTのテストでは、2枚の写真が同一の顔であるかどうかをアルゴリズムで検証しました。これは、入国審査官がパスポートをチェックするのと似ています。Idemiaのアルゴリズムが白人女性の顔を10,000枚中1枚の割合で誤認する感度設定において、黒人女性の顔は約1,000枚中1枚の割合で誤認しました。これは、誤認率の10倍の頻度です。10,000枚中1枚の誤認率は、顔認識システムを評価する際によく用いられます。

旧称モルフォのアイデミアで米国公共安全部門を率いるドニー・スコット氏は、NISTがテストしたアルゴリズムは商用リリースされておらず、同社は製品開発段階で人口統計学的差異を確認していると述べている。スコット氏によると、結果の差異は、NISTの厳しい監視下にあるテストで最高の精度を得るために、エンジニアが自社の技術を駆使した結果である可能性が高いという。「人には身体的な違いがあり、アルゴリズムの精度向上の速度は人それぞれです」と彼は言う。

コンピュータービジョンのアルゴリズムは、かつてないほど人間の顔の識別に優れています。NISTは昨年、最高のアルゴリズムは2010年から2018年の間に大規模なデータベースから人物を見つける能力が25倍向上し、真の一致を見落とす確率はわずか0.2%になったと発表しました。これが、政府機関、商業施設、そしてiPhoneのようなガジェットにおける広範な利用を促進しています。

しかし、NISTのテストやその他の研究では、アルゴリズムが肌の色の濃い人物の認識に苦労していることが繰り返し明らかにされている。NISTが7月に発表した報告書は、50社以上の企業のコードを対象としたテストを網羅している。報告書で上位にランクインした多くの製品で、黒人女性と白人女性におけるアイデミアのエラー率の10倍の差と同様のパフォーマンス差が見られた。NISTは2017年初頭から、顔認識アルゴリズムの人口統計テストの結果を発表している。また、女性に対するパフォーマンスは男性よりも低いことが一貫して判明しており、この影響は少なくとも部分的には化粧の使用によって引き起こされていると考えられている。

報告書によると、「白人男性は通常、FMR（誤一致率）が最も低い人口統計です。一方、黒人女性は通常、FMRが最も高い人口統計です。」NISTは今秋、この技術が様々な人口統計グループにどのように作用するかについて詳細な報告書を発表する予定です。

NISTの研究は、顔認識アルゴリズムの評価におけるゴールドスタンダードとみなされています。優れた実績を持つ企業は、その結果をマーケティングに活用しています。中国とロシアの企業は、総合的な精度ランキングで上位を占める傾向があり、NISTの結果をアピールすることで国内でのビジネス獲得に努めています。アイデミアは3月にプレスリリースを発表し、米国連邦政府の契約において競合他社よりも優れた実績を挙げたことを誇示しました。

国土安全保障省（DHS）も、肌の色が濃いことが商用顔認識の課題となっていることを明らかにした。2月、DHS職員は、空港の保安検査場などで人物の身元確認を目的とした11種類の商用システムを試験した結果を発表した。被験者の肌の色素が測定された。試験されたシステムは、肌の色が濃い人の処理に一般的に時間がかかり、識別精度も低かったが、ベンダーによって性能に差があった。DHSの内部プライバシー監視機関は、空港で試験運用されているような、導入済みの顔認識システムの人種・民族グループごとの性能をDHSが公表すべきだと述べている。

政府の報告書は、ACLU（アメリカ自由人権協会）とMITの研究者による2018年の批判的な研究結果を反映しており、この技術に公然と警戒感を示している。これらの研究では、Amazon、Microsoft、IBMのアルゴリズムは肌の色が濃い場合の精度が低いと報告されている。

これらの調査結果は、顔認識技術の適切な利用と不適切な利用をめぐる全国的な議論を巻き起こしています。一部の人権擁護団体、議員、政策専門家は、サンフランシスコと他の2都市で最近行われたように、政府による顔認識技術の利用を制限または禁止すべきだと考えています。彼らの懸念には、プライバシーリスク、市民と政府の力関係、そして人種による結果の格差などが含まれます。たとえ顔認識があらゆる顔に対して同じように機能したとしても、この技術を制限する理由は依然として存在すると、一部の批評家は指摘しています。

議論が激化する中、顔認証はすでに多くの連邦、州、地方自治体の政府機関に組み込まれており、その導入は拡大しています。米国政府は、国境検査や不法移民の捜索といった業務に顔認証を活用しています。

今年初め、ロサンゼルス警察は、致命的な銃撃事件に発展した住宅侵入事件に対応しました。容疑者1人は逮捕されましたが、もう1人は逃走しました。刑事は、ロサンゼルス郡保安官事務所が運用するマグショット顔認識システムとオンライン写真を検索し、逃走犯を特定しました。

保安官事務所のデレク・サバティーニ警部補は、この事件は50以上の郡機関で利用され、1200万件以上の顔写真データベースを検索するシステムの価値を示していると述べている。サバティーニ警部補は、顔認識システムがなければ、刑事はこれほど早く容疑者を見つけられなかったかもしれないと指摘する。「どれだけの時間がかかったか誰にも分からないし、もしかしたら犯人はそこにいて、その場で犯人を捕まえることができなかったかもしれない」とサバティーニ警部補は語る。

ロサンゼルス郡のシステムは、アイデミアと同様に世界中の政府機関に顔認識技術を提供しているドイツ企業、コグニテックの顔照合アルゴリズムをベースに構築されています。アイデミアと同様に、NISTによるコグニテックのアルゴリズムのテストでは、女性や有色人種の場合、精度が低下する可能性があることが示されています。白人女性を1万人に1人誤認する感度閾値では、NISTがテストしたコグニテックの2つのアルゴリズムは、黒人女性を誤認する確率が約5倍でした。

コグニテックのアルゴリズム開発ディレクター、トーステン・ティース氏は、この違いを認めつつも、説明するのは難しいと述べている。「肌の色が濃い人の写真をうまく撮るのは、白人の人よりも難しい」ことが要因の一つとして考えられるとティース氏は言う。

サバティーニ氏は、根本的な原因が何であれ、歪んだアルゴリズムが警察活動における人種間の格差につながるという懸念を否定する。警察官は、行動を起こす前に候補となる人物を注意深く確認し、裏付けとなる証拠を探しているとサバティーニ氏は言う。「2009年からこのシステムを導入していますが、問題は起きていません。訴訟も、立件も、苦情もありません」と彼は言う。

顔認識と人種の交差に関する懸念は新しいものではない。2012年、FBIの顔認識のトップ専門家が共同執筆した研究論文では、市販の顔認識システムは黒人と女性に対して精度が低いことが示されていた。ジョージタウン大学の研究者たちは、2016年に発表した影響力のある報告書の中で、FBIは米国人口の約半数の顔を検索できる可能性があると述べ、この問題について警告を発した。

顔認識がより一般的になり、政策専門家や政策立案者がテクノロジーの限界に関心を寄せるようになったことで、この問題は新たな注目を集めています。特に影響力の大きいのは、MITの研究者であり活動家でもあるジョイ・ブオラムウィニ氏の活動です。

2018年初頭、ブオラムウィニ氏とAI研究者のティムニット・ゲブル氏は、写真に写った顔の性別を判別しようとするマイクロソフトとIBMのサービスが、肌の色が薄い男性ではほぼ完璧に判別できたものの、肌の色が濃い女性では20%以上の確率で判別に失敗したことを明らかにした。その後の研究で、アマゾンのサービスでも同様の傾向が見られた。これらの研究は、人物を特定しようとするアルゴリズムをテストしたものではなく、アマゾンはブログ記事でこれを「誤解を招く」と批判した。

ブオラムウィニ氏は、5月に行われた下院監視・改革委員会の公聴会で重要な証人として出席した。この公聴会では、議員たちが顔認識技術の規制に超党派の関心を示した。イライジャ・カミングス委員長（メリーランド州選出、民主党）は、黒人男性のフレディ・グレイ氏が警察の拘束下で死亡したことに対する2015年のボルチモア抗議運動において、警察が顔認識技術をどのように使用していたかについて、検査結果における人種間の格差が懸念を強めたと述べた。その後、ジム・ジョーダン下院議員（オハイオ州選出、共和党）は、政府による顔認識技術の使用について議会が「何らかの措置」を講じる必要があると宣言した。「顔認識システムが誤作動を起こし、その誤作動がアフリカ系アメリカ人や有色人種に不均衡な影響を与える場合、それはアメリカ国民の憲法修正第1条および第4条に定められた権利の直接的な侵害であるように思われます」とジョーダン氏は述べた。

顔認識システムが肌の色の濃い人に対して異なるパフォーマンスを示す理由は不明です。ブオラムウィニ氏は議会で、企業が顔分析システムのテストやトレーニングに使用しているデータセットの多くは、適切に代表されていないと述べました。膨大な顔画像コレクションを集める最も容易な場所はウェブですが、そのコンテンツは白人、男性、西洋人に偏っています。IBMの調査によると、学術研究で最も広く引用されている3つの顔画像コレクションは、肌の色が薄い人の比率が81%以上となっています。

NISTの試験を主導する、顔認識分野で広く尊敬を集めるパトリック・グロザー氏は、肌の色が濃い場合の精度低下には、他にも原因があるかもしれないと述べている。その一つは写真の品質だ。写真技術と技法は、カラーフィルムの黎明期からデジタル時代に至るまで、肌の色が薄い場合に最適化されてきた。グロザー氏は11月の会議で、より挑発的な仮説も提示した。黒人の顔は白人の顔よりも統計的に類似しているというものだ。「人間の本性に何らかの関係があるのではないかと推測できます」とグロザー氏は言う。「人口統計学的に異なるグループでは、遺伝子の表現型発現に違いがあるのか​​もしれません」

フロリダ工科大学の准教授で、かつて顔認識を含む米国情報機関の研究プログラムを統括していたマイケル・キング氏は、確信が持てない。「現時点ではそれについて議論する準備ができていません。研究がまだ十分に進んでいないのです」と彼は言う。

キング氏がFITとノートルダム大学の同僚と共同で出した最新の研究結果は、顔認識アルゴリズムにおける人口統計上の不一致を説明することの難しさと、それに対して何をすべきかを示している。

彼らの研究では、5万3000枚のマグショットに対して、4つの顔認識アルゴリズム（商用2つとオープンソース2つ）をテストした。黒人の顔では、2人の人物を誤って一致させる誤りが多く、白人の顔では、一致する顔を検出できない誤りが多く見られた。黒人のマグショットの多くはID写真の基準を満たしていなかったが、それだけではパフォーマンスの偏りを説明できなかった。

研究者たちは、黒人と白人でアルゴリズムを同等の性能にできることを発見したが、それは両グループに異なる感度設定を適用した場合に限られる。これは研究室外での実用化は難しいだろう。刑事や国境警備隊員に異なるグループごとに異なる設定を選択するよう求めることは、それ自体が差別リスクを生み出し、人種プロファイリングを訴える訴訟につながる可能性があるからだ。

キング氏らが研究室でアルゴリズムを慎重に検証する一方で、顔認識をめぐる政治的争いは急速に展開している。与野党の議員たちは、少数派への精度向上への懸念を理由に、この技術の規制強化に動くと約束している。オークランド市は火曜日、マサチューセッツ州サマービル市とサンフランシスコ市に続き、5月以降、市当局による顔認識技術の使用を禁止した米国で3番目の都市となった。

キング氏は、アルゴリズムをあらゆる顔に同じように機能させる方法を見つけ出す科学は、独自のペースで進んでいくだろうと述べています。「これらのシステムを異なる人口統計に対しても同じように機能させること、あるいはそれが可能かどうか、あるいはなぜ可能かを理解することさえ、実に長期的な目標です」と彼は言います。

WIREDのその他の素晴らしい記事

• オンライン教師の仕事が児童虐待の窓となる場合
• 「マノスフィア」と憎悪の定量化の課題
• シコルスキーのS-97レイダーはあなたのヘリコプターを怠惰に見せます
• フォトギャラリー：ヴィンテージマッスルカーが空を飛ぶ
• ブルックリンで恐怖、誤情報、麻疹が蔓延
• 💻 Gearチームのお気に入りのノートパソコン、キーボード、タイピングの代替品、ノイズキャンセリングヘッドホンで仕事の効率をアップさせましょう
• 📩 もっと知りたいですか？毎日のニュースレターに登録して、最新の素晴らしいストーリーを見逃さないでください