真にインクルーシブな携帯電話カメラの作り方

2021年7月13日午前1時

大手テクノロジー企業は、肌の色が濃く、ストレートでない髪型を認めるために、より多くの対策を講じる必要があることを認識している。

画像には人物、ヘルメット、赤ちゃん、風船、衣類、履物、靴が含まれている可能性があります

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

色のバランスを正しく保つという課題は、フィルム自体と同じくらい古い歴史を持つ。1950年代半ば、アメリカでコダックが初めてカラーフィルムを研究した際、この象徴的なカメラメーカーは、従業員のシャーリー・ペイジの写真を参考写真として用いた。これがシャーリーカードの作成と普及のきっかけとなり、コダックのスタジオに送られ、フィルム現像キットのキャリブレーションを一定に保つのに役立てられた。シャーリーカードには必ずしも同一人物が写っているわけではなかったが、白人女性が写っていることが多かった。しかし、1990年代に人種的により包括的なシャーリーカードが導入されるまでは、この状況は続いた。

より多様性に富んだコダックの参考画像集は、登場が遅すぎた。米国と日本で20年の開発期間を経て、デジタルカメラへの移行期と重なった。フィルム写真時代に肌の色の多様性を無視してきた根深い偏見が、デジタルカメラシステムの基盤に深く根付いてしまったのだ。スマートフォンメーカーやソーシャルメディア企業がこの問題に真正面から取り組むようになったのは2021年になってからで、GoogleとSnapは今年5月、より「インクルーシブ」なカメラソフトウェアを開発する計画を発表した。

肌の色

ポラロイドカメラ、そしてスマートフォンでインスタント写真が使えるようになって以来、肌の色が濃い人は集合写真の撮影中に不適切なジョークを言われるのを我慢しなければなりませんでした。「せめて歯を見せて笑って」といったジョークです。

肌の色を6つのタイプに分類するフィッツパトリック・スケールで、私は5の「ダークブラウン」にあたります。学生時代はずっと、「アフリカ系黒人」とか「ブリック」とか言われて、特に夏に日焼けをすると、ひどい笑いものになりました。

私が育った90年代や2000年代には、カメラ付きスマートフォンはまだ普及していなかったので、最も不安な時期に、自分の不適切な写真を見ることはあまりありませんでした。しかし、今でもあのコメントの傷は癒えていません。

写真を撮った時に、人物の肌の色が全く違っていたことに気づいたことはありませんか？カメラが肌の色を正確に再現できない原因はいくつかあります。例えば、鮮やかな赤や青の服を着ていると、カメラの測光システムが「正しい」色調を得るためには、画像のホワイトバランスを極端に逆方向に調整する必要があると誤認識してしまうことがあります。

一眼レフカメラとデジタル一眼レフカメラでは、測光システムは専用の光感度フォトダイオードによって行われます。スマートフォンやミラーレスカメラでは、光量の測定と光温度の計算は、イメージセンサーアレイとそれをサポートする画像処理エンジンを用いて計算的に行われます。

しかし、画像処理システムの性能と精度が高まっているにもかかわらず、人間の肌の色や髪の毛の多様な多様性を正確に表現するという昔からの課題が大規模に取り組まれるようになったのはごく最近のことです。

アマチュア写真家誌「Amateur Photographer」の編集者、ナイジェル・アサートン氏は、30年以上にわたりプロの写真家として活躍しています。キャリアの初期には、カリブ海のクルーズ船で、肌の色が濃い人や褐色の人の写真を撮影していました。

「カメラの露出補正システムは、明るい肌の色調で適切な露出を提供することに重点が置かれており、ニコンFM2、ニコンFA、そしてF4では、地元の被写体を撮影する際には、露出補正ダイヤルを頻繁に使用する必要がありました」とアサートン氏は語る。「特に明るい環境下では、肌の色が暗くなりすぎるのを避けるには、これが唯一の方法でした。AIを搭載した現代のデジタルカメラやスマートフォンはより洗練されていますが、それでも肌の色が濃い被写体を撮影する際には、完全に信頼できるとは言えないと感じています。」

ナイジェルは1980年代からあらゆる大手写真メーカーのカメラを使い、レビューし、技術の進化を目の当たりにしてきました。「AIが開発される前は、カメラは単にシーン内のトーンを平均化し、中間グレーになるように露出を設定するようにプログラムされていました」と彼は説明します。「平均的なシーンには、明暗のトーンがほぼ均等に分布しているという原理に基づいています。」自動ホワイトバランスもほぼ同じように機能し、「ニュートラルカラー」を実現しようとします。ただし、こうした自動化はすべて、手動設定の使い方を知り、アクセスできるユーザーによって上書きされる可能性がありました。

クリエイター兼モデルのレスリー・バックルは、カメラの左右どちら側でも肌の色のバランスが取れないという問題を抱えてきました。「プロの撮影に多くの時間を費やしている私としては、私のミディアムトーンの肌がいつもうまく撮れないんです」と彼女は言います。「オレンジが強すぎたり、ピンクが強すぎたり、明るすぎたり、ディテールが足りなかったりするんです。いつも何かがおかしく見えたり、平坦に見えたりします。これを修正するために、より強力な照明を使う必要があることが多いのですが、そうすると顔のディテール全体が完全に白飛びしてしまい、平坦に見えてしまうんです。」

これらの課題は、スマートフォンでもプロ仕様のカメラでも発生します。バックル氏によると、後処理で最も調整が必要となるのは肌の色合いです。「後処理で修正するために、通常はかなり露出を下げなければなりません。それでも、適切な状態にするにはかなりの調整が必要になることがあります。」

バックル氏は、肌の色が似ているかより暗いモデルの写真を撮るとき、顔の細部が画像内でより鮮明になるように、露出を調整してコントラストと影のレベルを正しく調整する必要がある。

例外と言えるのは、おそらくAppleでしょう。彼らは特に声高に主張することなく、この道を先導してきたように見えます。Appleは長年にわたり、#shotoniPhoneキャンペーンに多様な人々を起用しており、iPhoneのカメラは肌の色合いに関して比較的ニュートラルで自然な仕上がりであることで写真界で知られています。

「色彩調整は非常に複雑なプロセスです」と、Googleの画質エンジニアであるピーター・シャーマン氏は語る。同社はPixelカメラと、モバイルOS市場の73%を占めるAndroidエコシステム全体を活用して、肌の色が濃い人物の画像をより忠実に再現しようと取り組んでいる。「画像を見る際に私たちが試みるのは、基準画像と実際に定量化しようとしている画像との間にどれだけの違いがあるのかを把握することです。」

Googleはここ数年、2,000人以上の多様性に富んだ「インクルージョン・チャンピオン・グループ」を立ち上げ、製品開発の各段階を通して定期的にフィードバックを提供してきました。また、技術職の新入社員向けに、インクルーシブな製品設計に関する新たなトレーニングモジュールも作成しました。

最近では、Googleは17人のプロの画像クリエイターと提携し、より優れたコンピュテーショナル・フォトグラフィーのアルゴリズムの開発に取り組んでいます。このグループから提供されたフィードバックは、迷光の影響を軽減し、自然な褐色の肌色を引き出し、明るすぎる部分や暗い肌の色の彩度を下げる効果に活用されています。これらの変更の最初の成果がいつ見られるかについては、Googleの広報担当者は「継続的な取り組み」であり、今年後半にさらなるアップデートが予定されていると述べています。

ポートレートモードとビデオ

問題は、肌の色合いを正確に再現することだけにとどまりません。新しい技術が登場するにつれ、新たな問題も生じます。スマートフォンのカメラや、被写体をぼかした背景から切り離すポートレートモードなどの技術の急速な発展は、人物の顔や体の輪郭の検出に新たな課題をもたらしています。

コンピュータービジョンシステム、あるいはAIカメラの精度と有用性は、入力されるデータによって左右されます。従来、AIカメラアルゴリズムの学習に用いられるデータセットは、主に白人男性の画像であり、主に白人男性によってラベル付け・分類されてきました。これは、この問題の根底にある最も重大な問題の一つ、すなわち、色白で男性であることがデフォルトであるという前提に繋がります。この「普通」は、定義上ほぼ白人のみを基準としているのです。

AIカメラ、ウェブカメラソフトウェア、そしてSnapchatやInstagramなどのアプリで使用されているようなソーシャルメディアフィルターの台頭は、既存システムの限界を露呈させています。そして、従来は過小評価されてきた多様性という要素が加わることで、これらの課題はさらに深刻化します。

例えば、Zoomのようなビデオ会議ソフトウェアでは、ユーザーは仮想背景を作成して追加し、背後にある散らかった生活空間を隠せます。この錯覚の精度は、髪の毛も含めた人物全体をカメラが検出できるかどうかにかかっています。エッジ検出は、コントラストに基づいてシーンのどの部分が被写体でどの部分が背景かを判断するカメラにとって難しい課題です。

2014年のHTC One M8の発売以来、携帯電話の標準となっている立体カメラシステムは、2台のカメラを使用して被写体をより正確に検出します。これらのシステムは、ソフトウェアを使用して両方のカメラの画像フィード間の微妙な違いを測定し、奥行きを認識します。多くのカメラシステムでは、被写体を検出する際にカメラを支援するためにLiDARも使用されています。LiDARはLight Detection and Ranging（光検出と測距）の略で、2020年のiPhone 12 Proの発売時に言及された主要なカメラ機能の1つでした。LiDARは光線を発射し、光が被写体から跳ね返るまでの時間を使用して距離を計算します。これにより、オートフォーカスの精度が向上し、フィルターやポートレートモードなどのカメラ機能の被写体検出にも役立ちます。

問題は？これらのシステムは暗い被写体の検出に苦労します。これは、暗い被写体は明るい被写体よりも光の反射が少ないためです。暗い髪や暗い色の服を着ている人なら、肌の色や髪質に関係なく、バーチャル背景を展開すると体のランダムな部分が消えてしまうことに気づいたことがあるでしょう。この問題は、ポートレートモードとビデオ会議の両方で、巻き毛やアフロヘアの人の場合、さらに深刻になります。

一部の人にとっては煩わしいかもしれませんが、この技術の不変の特性による制限の影響を受ける人にとって、単に軽いジャンパーを着るだけで問題を軽減できるわけではありません。とはいえ、2020年にこの技術が広く採用されて以来、ビデオ会議ソフトウェアの検出品質が向上していることに気づいています。

Googleが約束した取り組みは、ビデオ通話などの機能から始まりました。Google Duoは、彼らが最初に検討した分野の一つでした。世界中から寄せられたフィードバックで、Googleのカメラが肌の色が濃い人の認識に苦労していると指摘されたことを受け、チームはこのサービスに低照度モードを開発しました。

デジタル時代の進歩にもかかわらず、画像作成における固有の偏見が根絶されていない理由の一つは、この技術を主に支える企業が、いまだにインクルーシブな取り組みを十分に進めていないことにあります。例えば、Googleの米国従業員のうち、黒人はわずか4.4%です。そしてヨーロッパでは、この割合は2.8%にまで低下します。

Googleのピーター・シャーマン氏は、同僚とカメラの近接センサー（おそらくLiDARシステム）のテストを行っていたと説明する。「『ああ、60センチくらいの距離を測れるみたいだね』って話したんです」とシャーマン氏は、カメラからの距離を指して言った。「でも、顔を見合わせて、『二人とも白人だね』って言ったんです」

「この技術自体は人種差別的なものではありません」とシャーマン氏は言う。「ただ、設計者が無意識のうちに偏見を持っていないことを確認するための適切なテストが行われていないだけです。私たちは、この技術が誰にとっても使えるものになるよう、確実にしたいと考えています。」

フィルター

そしてフィルター。スマートフォンの登場で、何十億人もの人がカメラを手にするようになりました。iPhoneとInstagramは世界にフィルターをもたらしました。コダックのフィルムが開発されて以来、人々の写真撮影能力にこれほど大きな影響を与えた新技術の登場はかつてありませんでした。

カメラフィルターの歴史を振り返ると、これらのシステムにはより狡猾な側面があります。肌の色が濃く、髪が自然な人物を検出できたとしても、「かわいく」したり「美しく」見せると謳っているフィルターの多くは、結局は肌を白くしたり、頬を赤くしたり、鼻を小さくしたりしてしまうのです。

2017年にこのテーマについて執筆したハフポストUKの記者、シャンドゥカニ・ムラウジ氏は、白人や西洋人の美の基準に対する、本質的に有害な偏見のいくつかを指摘しました。「率直に言って、Snapchatのフィルターは人種差別的です。白人化が進んでおり、問題があります。一般的に、黒人やアジア人は、キラキラと輝く、ほぼ青い目をしているわけではありません。鼻も細くないし、生まれつきバラ色の頬や小さな唇を持っているわけでもありません。」

Googleのプロダクトインクルージョン責任者であるアニー・ジャン＝バティスト氏は、昨年1月のブログ投稿で自身の経験を語っています。「私は第一世代のハイチ系アメリカ人女性として育ち、人種や性別といったものが、社会での経験にどう影響するかを理解し、理解しています」と彼女は書いています。「毎日使っている製品が、自分と似たような背景を持たない人向けに作られていると、フラストレーションを感じてしまうことがあります。例えば、肌の色を自動的に明るくしてくれるソーシャルメディアのフィルタリング機能などです。」

2010年代半ば、スマートフォンのフィルターやアプリの不足と不適切な表現が問題視されたことを受け、Vox Mediaの小規模チームが2日間のハッカソンでTONRアプリを開発しました。TONRの開発チームの一員であったVox Mediaのシニアデザイナー、アリーシャ・ランドルフ氏は、2016年にMicの取材に対し、このアプリの目的は「被写体の肌を明るくするのではなく、深みを増し、メラニンの豊かさと彩度を強調する」フィルターを提供することだったと語っています。

TONRは#VAX2016ハッキングイベントから生まれ、短期間しか生き残れませんでした。しかし、少人数のソフトウェアデザイナーチームが数日間でこの問題に対する潜在的な解決策を一つ生み出せるのであれば、技術の限界ではなく、問題解決への意欲の欠如こそが、これらの問題が長らく放置されてきた理由であることは明らかです。

フィルターが差別的だと広く批判されてきたスナップチャットは4月、幅広い肌の色合いをよりうまく捉えられるようにコアカメラ技術を再設計する取り組みをようやく発表した。

健康

Googleは、今年5月に開催されたGoogle I/OカンファレンスでAIを活用した皮膚科診断支援ツールを発表したことを受け、最近になって厳しい批判にさらされている。3年間の開発期間を経て、このアプリはAndroidスマートフォンのカメラを使用して最大288種類の皮膚疾患を特定し、2021年後半に一般公開される予定だ。

しかし、Googleは自社のAIモデルが「あらゆる肌タイプ向けに開発されている」と主張しているにもかかわらず、Viceがアルゴリズムのトレーニングに使用された64,837枚の画像を詳しく調べたところ、明らかな欠落が明らかになった。Googleの画期的な研究に参加した12,399人の患者の内訳によると、ダークブラウンまたは黒と表現できる肌の色はわずか3.5%だった。残りの大部分は白人またはそれより明るい肌色だった。

Google自身の発表では、「すべての人のために建築を行うために、当社のモデルは年齢、性別、人種、そして日焼けしにくい色白の肌から日焼けしにくい褐色の肌まで、肌のタイプといった要素を考慮しています」と述べられています。「すべての人のために建築する」には、濃い茶色や黒い肌も含まれるべきではないでしょうか？

次に何が起こるべきか

バックル氏は、Googleがこの問題に取り組むと表明したことを嬉しく思っているものの、対応に時間がかかったことには驚きを隠せない。「多くの研究とそれに続く製品開発では、人口の大部分が見落とされがちです」と彼女は言う。「しかし、少なくとも正しい方向への一歩です。Googleがこうした対策を講じることで、他社も同様の行動を取るようになることを期待しています。」

しかし、これらの変化はどのように実装されるのでしょうか？そして、テクノロジー企業はどこから始めるべきでしょうか？まず、データセットを拡張し、より幅広い人々を取り込み、文化や肌の色の多様性を反映させる必要があります。自動ホワイトバランスと露出設定が、白人以外の顔を含むシーン、特に明るい肌の色のグループショットに反応する方法に技術的な変更を加える必要があります。

これはGoogleとSnapの取り組みの焦点であり、GoogleはAndroidスマートフォンのパートナーと成果を共有することを約束しています。ナイトモードは完全にコンピュテーショナルフォトグラフィーであるため、より質の高いデータと、より多様性のあるチームがアルゴリズムを微調整することで、さらに改善されるでしょう。

第二に、より多くの有色人種の人々がプロセスに関与する必要があります。アルゴリズムエンジニアからデータセットラベラーまで、カメラが私たちをどのように捉えるかを形作る人材の多様性が、私たち自身の捉え方が最終的に現実をより反映したものとなるようにする必要があります。

Googleの取り組みにより、縮れ毛やストレートヘアの髪質に対応した、より正確な深度マップとエッジ検出機能が既に実現しています。これは、よりインクルーシブな環境において実現可能な、前向きな改善の好例です。最初のカメラ搭載Androidスマートフォンの発売から13年が経った今でも、この成果を目の当たりにしています（HTC Dream/T-Mobile G1は3.15MPのメインカメラを搭載していました）。

この問題を直接経験したことがない人にとっては、些細な問題のように思えるかもしれません。しかし、テクノロジーやその他の手段を通して人々がどのように見られるかは、社会に大きな影響を与えます。プロであれアマチュアであれ、写真における前向きな変化は、非白人の人々が自分自身をどう見ているかから始まります。それは、多様性を疎外感から脱却させ、当たり前のものにするのに役立ちます。しかし同時に、人々が従来「普通」とは違うと定義してきた人々との関わり方や関わり方を変える可能性もあるのです。

写真であれビデオであれ、イメージ作成の分野では、「表現が重要」という言葉がさまざまなレベルで心に響きます。

WIREDのその他の素晴らしい記事