Google Pixelカメラチームにとって、すべては思い出のため

「リアルトーンは劣化したのか？」これは数ヶ月前にPixel 8aをレビューした際に私が批判した点の一つでした。Googleのミッドレンジスマートフォンは500ドルという価格で強力な機能を備えていますが、特に有色人種の肌の色をより正確に再現するように設計されたカメラ機能「リアルトーン」は、少々賛否両論でした。同じ価格帯の競合機種とセルフィーを比べた時、兄弟や両親も同じように言っていました。

フロリアン・ケーニグスベルガー氏と彼のチームは、3年前にPixel 6でReal Toneがデビューして以来、こうしたフィードバックに基づいて画像処理アルゴリズムを継続的に調整してきました。彼はGoogleの画像品質管理責任者であり、このプロジェクトの陣頭指揮を執った人物です。私はスタジオの舞台裏を覗き込み、Googleが毎年これらの画像処理アルゴリズムを改良するために行っているテストを見学する機会を得ました。最新のPixel 9シリーズに搭載されたReal Toneは、発売以来、あらゆる面で最も顕著な改善が見られると言われています。

1900年代半ばから後半にかけてのフィルムカメラシステムでは、肌の色の濃さを適切に表現することは優先事項ではありませんでした。コダックのシャーリーカードには白人女性の写真が掲載されており、全米で印刷画像の色の調整に使用されました。デジタル時代においてこれらの問題の多くは解決されましたが、解決には程遠いものです。雑誌の表紙から長編映画に至るまで、メディアにおける黒人の肌の色の見え方について、肌の色を明るくしすぎているという批判は今でもよく見られます。HPのコンピューターのウェブカメラが黒人男性の顔の特徴を捉えることができなかったのに、白人女性の顔の特徴を捉えることができた時代を覚えていますか？

だからこそ、Real Toneのような機能はケーニヒスベルガーにとって心に響くのです。「父は白人のドイツ人、母は肌の色が濃い黒人のジャマイカ人女性、そして兄と私は肌の色が違います」と彼は言います。「家族写真を撮るのは、どのデバイスを使ってもこれまで決して簡単ではありませんでした。でも、毎年、家で真実を生きられているような気がします。」

小さなスペース

私たちはブルックリンのマッカレン・パーク近くのビル2階にある小さな写真スタジオで会った。地球上で最も裕福な企業の一つが資金を提供しているとは到底思えないような空間だ。スタジオはこぢんまりとしていて、片方の壁には継ぎ目のない紙の背景幕が、部屋の反対側には山積みの撮影機材が置かれている。ケーニグスバーガー氏によると、彼のチームは2020年のパンデミックの最中にこのスタジオを立ち上げ、それ以来ずっと使い続けているという。

スタジオ内のスマートライトは音声制御で、隅にはGoogle Wi-Fiルーターが設置されていました。チームはNest Audioスマートスピーカーからのコマンドを使って、テストで使用する様々な照明条件を切り替えています。空間を暗くして夜間の状況をシミュレートするには、もう少し手作業が必要です。ケーニヒスベルガー氏は脚立を使って窓に遮光カーテンを取り付けています。

この設定により、チームは被写体の写真を撮影し、そのデータを用いてGoogle Pixelスマートフォンに組み込まれているリアルトーンアルゴリズムを改良することで、撮影したすべての写真において肌の色をより正確に再現できるようになります。この機能は、暗い肌の色調をより適切に表現するために導入されましたが、さまざまな照明条件における明るい肌の色の表現も向上させています。

ケーニグスバーガー氏によると、今回の作品のインスピレーションは、ハーバード大学で美術史、建築史、アフリカ・アフリカ系アメリカ人研究を教えるサラ・ルイス氏がゲストエディターを務めた2016年版「Aperture」誌「Vision & Justice」号から直接得たものだという。この号では、アフリカ系アメリカ人が映画と写真の歴史にもたらした貢献について取り上げている。

「これまでの教育の中で、これらの写真家が誰なのか、彼らがどのような貢献をしているのか、そして彼らの目を通して自分のコミュニティが表現されているのを見ることは、これまで一度もなかったように思います」と彼は語る。「そこで、より大きな疑問が湧いてきました。Googleで過ごした時間の中で、私にしかできないことは何でしょうか？Googleは、コンピュテーショナル・フォトグラフィーの専門知識を活かせる最適な立場にあるのでしょうか？そして、何十年も前から存在してきたこの問題の転換点となるのは、一体どこなのでしょうか？」

スタジオには、Googleの画像品質エンジニアであり、多くの撮影を率いる写真家のクーチル・ネルソン氏もいました。彼は様々な人種や肌の色をしたモデルたちと共にスタジオにいました。ネルソン氏は、様々な色の背景や様々な照明の下でモデルたちの写真を記録し、モデルたちは近所を歩き回って屋外の風景を撮影することがよくあります。今回のセットアップでは、Pixel 8 ProとPixel 9 Proを1つのリグに取り付け、同じ写真と動画を並べて撮影しました。これは、私がレビューでスマートフォンのカメラをテストする方法と似ています。

しかし、Googleはデータ収集に関しては芳しくない実績を残している。特にPixel 4とその新機能である顔スキャン機能の発売後、サードパーティの業者が肌の色が濃いホームレスの人々をターゲットに3D顔スキャンを実施し、5ドルのギフトカードを提示して、データの使用目的を十分に説明せずに同意書を急いで記入させていたことが発覚し、Googleは窮地に立たされた。ありがたいことに、ケーニヒスバーガー氏のスタジオではそのような行為は行われていない。

「全員が報酬を受け取り、通知を受け、自発的に参加しています」と彼は言います。「私たちは複数の代理店と協力してモデルを募集し、市場価格以上でモデルを募集しています。また、プロジェクトに参加する人々にとって、テクノロジーの変化を目の当たりにすることは非常に大きなインパクトがあるため、長期にわたって人々と協力するよう努めてきました。」

大きな変化

そういえば、スタジオやケーニヒスベルガー氏と彼のチームと近所を写真散歩した際に、新しいPixel 9シリーズのReal Toneの多くの改良点を前モデルと比べて直接確認しました。最も顕著な改善点の一つは、窓の前で逆光になった被写体を撮影した時です。Real Toneアルゴリズムが写真や動画で顔を優先するようになったため、肌の色が濃い人が明るい場所にいる時のように、露出の大きな変動が軽減されたのです。

下の動画の例をご覧ください。Pixel 8 Proはシーン全体の露出を調整しようとしますが、露出が大きく変動し、モデルが窓から離れると非常に暗く、近づくと肌が明るくなります。Pixel 9 Proでは、露出の調整は依然として行われていますが、変化はそれほど大きくなく、モデルの顔の特徴がよりはっきりと見えます。

もう一つの明確な例は、モデルがサージカルマスクを顔まで持ち上げた時の映像です。Pixel 8 Proの動画ではモデルの肌がより暗く写りますが、Pixel 9 Proではそれほど揺れません。これは、肌の色が異なる複数の人が一緒に写っている場合にも影響し、ケーニグスバーガー氏によると、露出の歪みが少なくなるはずだとのことです。

現場で撮影された写真を分析すると、アルゴリズムのアップデートを見分けるのは難しくありませんでした。特に、モデルが目の前にいるという贅沢な状況下ではなおさらです。通常の照明条件でも、Pixel 9 Proの肌の色合いは、Pixel 8 Proよりも実物の人物にかなり近いと感じました。ケーニグスバーガー氏によると、これはGoogleのHDR+画像処理パイプライン（後述）の大幅な変更によるもので、これによりシステムはより正確な影と中間色を生成できるようになったとのことです。

もう一つの新機能は、自動ホワイトバランスのセグメンテーションです。このプロセスにより、写真に写っている人物と背景の露出を別々に自動ホワイトバランスで調整できます。これまでは、青空が肌の色調を冷たくするなど、背景から色が漏れ出ていることに気付いたかもしれません。この新しいシステムは、「人物が背景から切り離されて、本来あるべき姿を保つ」のに役立ちます、とケーニグスバーガー氏は言います。

今年のPixel 9シリーズは、Googleの肌色分類機能が初めてMonk Skin Tone Scaleに完全準拠したモデルでもあります。Monk Skin Tone Scaleは、幅広い肌色を表現する10段階のスケールで、コンピュテーショナルフォトグラフィーからヘルスケアまで、あらゆる用途に役立つように公開されています。ケーニグスバーガー氏によると、この変更により、よりきめ細かな色調整が可能になったとのことです。

おそらく最も重要なのは、Real ToneがPixel 9シリーズ全体のGoogleの「ヒーロー」機能すべてで初めてテストされたという事実です。Koenigsberger氏によると、彼のチームはテストの規模を拡大し、「Add Me」などの新機能が発売前にReal Toneでテストされていることを確認することができました。これは重要な点です。Koenigsberger氏によると、彼のチームはAシリーズのPixelスマートフォンでテストに十分な時間を費やすことができない場合もあるとのことで、Pixel 8aでReal Toneに問題が発生したのはそのためかもしれません。このプロセスの規模拡大はおそらく改善につながるでしょうが、Koenigsberger氏は、Real Toneを特定の技術セットからGoogleの事業哲学へと統合するものだと述べています。

「最終的には、これは誰かの思い出になるでしょう」とケーニヒスバーガーは言う。「家族との経験、親友との旅行など、様々な思い出が詰まったものになるでしょう。テスト走行でそれらの体験をできる限り再現できればできるほど、より確実に、人々が満足できるものを提供できると考えています。」

人工記憶

Googleのカメラチームが発表する多くの新機能の根底にあるテーマは、思い出です。その日の早朝、私はPixelカメラのグループプロダクトマネージャーを務めるアイザック・レイノルズ氏に話を聞いた。レイノルズ氏は2015年の初代Pixelスマートフォン発売以来、この仕事に携わってきた。もうすぐ10周年を迎えるレイノルズ氏は、モバイルフォトグラフィーに「おそらく他の誰よりも熱心」で、カメラの進化の余地はまだまだ大きいと考えている。「技術的な制限によって、人々が捉えられない思い出を私は見ています」

Pixelスマートフォンの新機能は、カメラ体験全般を大きく変えるというよりも、特定の場面に焦点を当てる傾向が強まっている。ただし、レイノルズ氏によると、Pixel 9シリーズではHDR+パイプラインが再構築されたという。露出、シャープネス、コントラスト、シャドウの融合を再調整し、さらにリアルトーンのアップデートもすべて取り入れることで、より「本物らしく」「自然な」画像を作り出すことができるとレイノルズ氏は語る。10年前に人気だった、加工が多用され、パンチの効いた、フィルターが多用された画像よりも、人々が好むのはHDR+だと彼は示唆している。

これらのアップデートは、日々の写真や動画撮影のニーズに大きく影響しますが、特別な瞬間はどうでしょうか？何百ドルもかけて貯めたオーストラリアの山登り？グランドキャニオンで撮った一生に一度の家族写真？そんな時に、これらの新機能が役立ちます。

例えば「Add Me」を使えば、エッフェル塔のような被写体の前にいる大切な人の写真を撮り、その後、相手があなたの写真も撮れるように場所を入れ替えることができます。カメラが画像を重ね合わせ、まるで自然に隣に立っているかのように見せてくれます。知らない人にスマホを渡して写真を撮らせるリスクはもうありません。Pixel 9ではパノラマモードも完全に作り直されました。頻繁に使うものではありませんが、使うとしたら、それはおそらく重要な景色を眺めているときでしょう。だからこそレイノルズ氏によると、開発チームは最新のカメラの進歩に合わせてこの機能を強化することに注力し、HDR+ Night Sight画像処理アルゴリズムを全面的に活用して、低照度での性能向上とステッチ品質の向上を図ったとのことです。

これらの作業の多くは、撮影プロセスそのものではなく、「ワークフロー」に焦点を当てています。レイノルズ氏は、現在、クリエイティブプロフェッショナルのワークフローは、撮影を計画し、カメラをセットアップし、被写体を撮影し、メディアを編集プラットフォームに移動し、写真を整理し、画像を編集するというものだと指摘しています。カメラはそのワークフローのごく一部に過ぎません。

「私たちは、カメラのために作られた狭い空間にただ入り込んでいるわけではありません」とレイノルズは言う。「人々がますます経験している、より広く、より長い創造の連鎖の中に、私たち自身を入り込みたいのです。なぜなら、それが解決すべき問題だからです。」

さて、GoogleのPixelスマートフォンにますます搭載されつつある生成型AI（Generative AI）機能についてお話しましょう。昨年、同社はMagic Editorを発表しました。これは、フレーム内の被写体を写真の端から端まで移動させると、AIがピクセルを生成して被写体が消えた領域を埋めてくれる機能です。今年はさらに多くのGenAI機能が追加され、中でも注目すべきは「Reimagine（再想像）」です。

写真を撮ったら、マジックエディターを開いて画像を「再解釈」できます。テキストプロンプトを入力して画像に変化を加えることができます。空にUFOを追加したいですか？入力するだけで、1分後にいくつかの選択肢が表示されます。空を昼から夜に変えたいですか？どうぞ。仕上がりのクオリティは様々ですが（プロンプトの記述内容にもよりますが）、写真を完全に変える可能性が一気に広がります。

レイノルズ氏をはじめとするPixelカメラチーム全体にとって重要なのは、必ずしも写真そのものではなく、あなたの記憶です。空の色を夕焼けのように変えたり、新機能のオートフレーム機能を使って構図を変えてより印象的な写真に仕上げたりといった調整は、全く問題ありません。

「重要なのは、何を覚えているかということです」と彼は言う。「記憶を定義づけるということは、そこには誤りがつきものです。ある瞬間を、完全に偽物で完全に間違っていると感じたとしても、真実で完璧な形で再現できる可能性があるのです。こうした編集の一部は、記憶と全体的な文脈に忠実でありながら、記憶通りの瞬間を作り出すのに役立ちます。しかし、特定の1000分の1秒単位では、必ずしも真実ではないかもしれません。」

2年前、私はMITメディアラボの准教授、ラメシュ・ラスカー氏にスマートフォン写真の進歩に関する動画のためにインタビューしました。ラスカー氏は、いつかカメラ付き携帯電話でパリの曇りの日を晴れの日に変えられるようになるだろうと話していました。その日はもうすぐそこまで来ているようです。オリンピックのためにパリに滞在していたラスカー氏に再度連絡を取ったところ、観客席でプロ仕様のカメラを持っている人をほとんど見かけない（もちろんスポーツカメラマンは別として）とおっしゃっていました。

「最高の写真とは、目で見たものを捉えていない写真だと言えるでしょう」とラスカー氏は言う。「私たちが好む写真は、極端なズーム、浅い被写界深度、マクロ撮影、奇妙な動きを捉えた写真、光跡などです。写真の世界でさえ、私たちは本来の目で見た写真から遠ざかっています。この進化はこれからも続き、写真は目に映るものを捉えるものではなくなっていくでしょう。」

ラスカー氏の新たな予測は？それは「非カメラ」だ。センサーもレンズもフラッシュもなく、ボタン一つだけ。GPS位置情報と時刻を捉えるだけで、エッフェル塔の前で「家族と友達と一緒だよ」と声をかけるだけで、時刻、日付、場所、天気などを把握しているので、自動的に構図を決めてくれる。

写真家として、それは想像するだけで恐ろしい未来だ。慰めになるかどうかはわからないが、レイノルズ氏は写真が死んだとは思っていない。

「今あるものがなくなるとは思っていません。ただ、多くのことがもっと簡単になると思います。それは素晴らしいことです」と彼は言います。「そうすれば、人々は、既に持っていると思っていた思い出や、記憶と違っていて今になってフラストレーションを感じ、悲しんでいる思い出を作ろうと奮闘するのではなく、他のことに時間を使って、もっとたくさんの思い出を作ることができるようになります。もっと多くの人が、もっと簡単に思い出を作れるようになると思います。」