6年ちょっと前、AppleはFace IDを発表しました。これは、顔をスキャンすることでiPhoneのロックを解除し、購入時に認証する新しい生体認証方式でした。しかし、それから長い年月が経った今でも、AndroidにはFace IDと同等のセキュリティと機能を備えた有力な競合製品は現れていません。
Google Pixel 8には顔認証が搭載されていますが、暗い場所では動作が不安定です。また、Samsungスマートフォンの顔認証は、銀行取引などのセキュリティ保護されたアプリケーションでは利用できません。Androidの世界では指紋認証が主流ですが、その状況は長くは続かないかもしれません。
「光学メタサーフェス」と呼ばれる光学技術のパイオニアであるスタートアップ企業Metalenzは、Polar ID技術を用いてAndroidに安全な顔認証技術を導入することに注力しています。昨年末、同社はQualcommとの提携を発表し、進行中の開発を同社の主力プロセッサに移植することを目指しています。そして本日、バルセロナで開催されたMobile World Congress 2024において、同社は自社の画像処理システムにSamsungのIsocell Vizion 931イメージセンサーを採用することを発表しました。
私はボストンにあるMetalenz本社を訪れ、Polar IDを初めて見ました。このシステムはまだ初期段階で、同社は現在、顔認識機械学習アルゴリズムの改良に向けて大量のデータを収集しています。しかし、同社は今年半ばに開発キットをスマートフォンメーカーに送り、テストさせる計画です。つまり、2026年初頭には、Android向けのFace IDのようなシステム、そしてAppleのアプローチよりも優れたシステムがスマートフォンに搭載される可能性が高いということです。
新しい光学
Metalenzはハーバード大学の研究グループから生まれたスタートアップ企業で、CEOのロバート・デブリン氏と物理学者のフェデリコ・カパッソ氏によって設立されました。私は、同社が2021年にステルスモードから脱却して以来、同社の開発を取材してきました。その際に、同社はメタサーフェス技術を発表しました。これは、今日のほとんどのスマートフォンで使用されている従来のマルチレンズ素子よりもはるかに小さなスペースを占める平面レンズシステムです。
例えば、iPhone 14 Proには、カメラセンサーの上に7つのレンズ要素（ガラスまたはプレキシガラスの層）が積み重ねられています。レンズ要素を複数にすることで、画像の鮮明度が向上し、より多くの光を捉え、色収差（画像の周辺に色が見える）などの問題が補正されます。しかし、これは複雑さを増し、スマートフォン内でより多くのスペースを必要とします。Metalenzのメタサーフェスは、ナノ構造を用いて光線をカメラセンサーに向けて曲げる単一のレンズで、複数のレンズ要素の機能をはるかに小型のパッケージで実現します。
複数のメタサーフェスのウェハーであるフラットレンズシステムは、現在ほとんどの携帯電話で使用されているマルチレンズ要素よりもはるかに小さなスペースを占めます。
写真：ジュリアン・チョッカトゥ2022年、同社はメタサーフェスが偏光データを取得する能力を披露しました。光が特定の形状と材料特性を持つ物体に当たると、偏光が発生します。つまり、すべての物体が独自の偏光特性を持つということです。もう一度私の言葉を引用すると、「路肩の通常の氷に反射する光波は、黒氷に反射する光とは異なる振動をします。カメラがこの情報を取得できれば、それをコンピュータービジョンの機械学習アルゴリズムに入力し、黒氷と通常の氷の違いを学習させることができます。そうすれば、車は迫り来る危険をドライバーに知らせることができるのです。」
そこでPolar IDの登場です。Metalenz社は、偏光特性に基づいて人の顔を認証できるシステムの開発に取り組んでいます。この特性を顔認識技術と組み合わせることで、サージカルマスクやサングラスを着用している場合でも、あるいは写真や3Dマスクで顔を偽装しようとしている場合でも、システムは個人を認識し、認証することができます。必要なのは、肌の偏光特性と一致させることだけです。
AppleのFace IDにおけるアプローチは、構造化光トランスミッターという高価なモジュールを採用しており、かなりのスペースを占有します（iPhoneのディスプレイ上部にある大きなノッチ、つまり丸みを帯びた形状のノッチの由来です）。この技術は、Appleが2013年に買収したPrimeSense社（MicrosoftのKinectの3Dセンサーを開発していた企業と同じ）から派生したものです。デブリン氏によると、Appleはこの技術に関する重要な特許を複数保有しており、これが競合他社が参入しにくい理由の一つとなっています。また、Androidメーカーにとってこの技術を再現するには複雑で費用がかかりすぎるため、長年にわたりいくつかのメーカーが試みてきました。
「Androidコミュニティは依然としてこれを強く望んでいます」とデブリン氏は言う。「あまりにも強く望んでいるため、今では標準以下のソリューションをリリースしてロック解除を可能にしています。そして多くの場合、ユーザーはセキュリティ対策が施されていないことに気づいていません。」
AppleのFace IDシステムは、まずTrueDepthセルフィーカメラで顔の2D画像を撮影します。これは、Face IDの設定時にAppleに提供された画像に基づいて、画像に写っている人物が本人であることを確認するためです。次に、構造化光送信機が顔に3万個の赤外線ドットを照射し、3Dレンダリングを作成して顔の輪郭を照合します。サージカルマスクを着用しているなど、顔が隠れている場合はデータポイントが少なくなり、精度が低下します。
Polar ID メタサーフェスと Samsung の Isocell Vizion 931 センサーを組み合わせたもの。
写真：ジュリアン・チョッカトゥデブリン氏によると、Polar IDの解像度は10倍、40万ピクセルに達するという。Polar IDはスマートフォンの自撮りカメラに取って代わるものではなく、その横に設置される点が注目に値する。従来のカメラは偏光データを取得できないが、メタサーフェスはこの情報を取得し、画像センサーに送信して再構成することができる。構造化光モジュールは不要だ。Polar IDは代わりに、近赤外光を用いてあらゆる照明条件で顔写真を撮影する投光イルミネーターを使用する。システムは2D画像が本人に似ていることを確認し、同じ画像の偏光特性を分析して、保存されている情報と一致するかどうかを確認する。
これはAppleのアプローチよりも手順が1つ少なく、価格（とスペース）も大幅に削減されます。デブリン氏によると、Appleが使用している構造化光送信機は約14ドルで、部品コスト（携帯電話を構成する個々の部品のコスト）としては高額です。大したことではないように思えるかもしれませんが、Metalenzのシステムは現在、少量生産で約5ドルです。AppleがMetalenzを代わりに使用すれば、数十億ドルの節約になる可能性があります。
Metalenz のシステムは、携帯電話のプロセッサやイメージセンサーが製造されている同じチップ工場で組み立てることも可能で、サプライ チェーンがさらに効率化されます。
レーザードットパターンプロジェクターは、携帯電話に搭載されているモジュールの中で最も複雑で高価なものの一つです。Polar IDの技術は、一枚の画像で人物を認識し、認証できると言われています。
メタレンズ提供メタレンズの光学系は、今日のスマートフォンに既に搭載されています。同社は2022年にSTマイクロエレクトロニクスと提携し、メタサーフェスを同社の飛行時間型センサーに統合しました。飛行時間型センサーは、ポートレートモードなどの機能を向上させるために深度情報を取得するためにスマートフォンで広く使用されているセンサーです。
分解調査により、Google Pixel 8やSamsung Galaxy S23などのスマートフォンがMetalenzの光学系を採用していることが確認されました。以前は8つのレンズ要素が必要でしたが、現在はわずか2つのレンズ要素で済みます。1つはレーザーを発射して距離を測定するためのもので、もう1つはレーザーを受光するためのものです。Metalenzは、この製品により深度検知の範囲と精度が向上したと主張しています。同社はまた、主に顔認証による決済を行う決済キオスクの開発において、中国でDilusenseと提携しています。
対決
Polar IDは、偏光特性に基づいて顔を認証します。サージカルマスクとサングラスを着用している場合でも機能し、写真や3Dマスクによる本人確認の試みを阻止すると言われています。
写真：ジュリアン・チョッカトゥボストンにあるメタレンズ社のオフィスで、私は人々の顔の3Dマスクがいくつも置かれた部屋に座った。まるで映画『ミッション・インポッシブル』に出てくるような光景だ。同社はスマートフォンにPolar IDシステムを接続し、サムスン製のIsocell Vizion 931センサーを搭載していた。デブリン氏によると、このセンサーは偏光データの取得に必要な波長に最適化されているという。
顔の登録方法は、iPhoneのFace IDを設定するのとほぼ同じです。顔を円を描くように回転させ、システムが様々な角度から認識できるようにします。これで完了です。メーカーがMetalenzと提携してその技術のライセンスを取得した場合、設定手順は各ブランドのソフトウェアに合わせてカスタマイズされる可能性が高いでしょう（おそらく「Polar ID」という名前にはならないでしょう）。
デブリン氏はシステムの有効性を示すため、いくつかのアクセサリを試した。彼は自身の高品質なフェイスマスクを着用し、Polar IDはそれを偽物と認識した。デブリン氏によると、同社のテストでは、顔の3Dモデルから作成した同じ高品質な3Dマスクを使用して、ロックされたPixel 8にアクセスできたという。メタレンズ社は、これはGoogleのセキュリティ仕様に「合致している」と述べているが、Appleのセキュリティ基準では3Dスキャンは拒否される。しかし、デブリン氏がサージカルマスクを着用した際には、Polar IDは問題なく彼を認識した。
いよいよ私の番。顔をスキャンしてみたら…Polar IDはなかなか私を認識してくれなかった。どうやら、Polar IDのシステムに何らかの制限が設けられていたようで、限られた視野内では顔を認識できたものの、顔の3Dマスクやサージカルマスクを着用するとうまく動作しなかった。
デブリン氏によると、現在のモデルには「慎重になりすぎる」ためのパラメータがあり、それが私の場合うまく機能しなかった理由を説明しているようだ。また、同社は現在、登録プロセスにおいてFace IDほど多くの顔の角度を捉えていないが、開発が進むにつれてこの点は改善されるだろう。
これに加えて、同社にはアルゴリズムの学習に用いる多様な顔データセットが不足している。「非常に堅牢な顔認識モデルを構築するには、これまで扱ってきたデータセットと画像の多様性は、既存のRGB顔認識モデルが持つデータセットと画像多様性と比べると少なめです」とデブリン氏は語る。Metalenzは、アルゴリズムの改良に向けて、サードパーティベンダーやOEMと協力してより多くのデータを収集している。
写真：ジュリアン・チョッカトゥ
ある意味、データ、特に偏光データの不足こそが、メタレンツが最初に顔認識に着目した理由の一つと言えるでしょう。Polar ID画像システムをスマートフォンに搭載することで、同社は幅広いデータセットにアクセスでき、偏光技術を他の分野に進出させるためのより強固な足場を築くことができます。
理論的には、携帯電話のカメラを使用して皮膚に癌の増殖がないか確認したり、周囲の空気中の微粒子を観察して地元の空気の質を測定したりすることが可能になる。
「グルコースでさえ、非常に特異な偏光特性を持っています」とデブリン氏は語る。「他にも様々な応用が考えられます。顔認識技術がその足掛かりとなるのは、まさにこの点です。顔認識技術は、これまでで最大の人物の偏光情報データセットです。そこから生まれる応用は、偏光技術を初めてデバイスに組み込むことの、もう一つの大きな魅力です。」
デブリン氏は改めて、Polar IDが収集するすべてのデータはQualcommのチップセット上のTrusted Execution Environment（TES）に保存され、暗号化されていると強調した。携帯電話メーカーとユーザーがデータ共有に合意すれば、すべての顔認証がMetalenzのデータベースの改善と拡張に活用される。また、このシステムは、ユーザーがデバイスを使用するにつれて、時間の経過とともに進化していく。
しかし、仮にあなたの偏光特性が漏れてしまったらどうなるでしょうか？公共の防犯カメラに同じ偏光収集技術が搭載されていれば、あなたを特定できる可能性があります。デブリン氏は、カメラが実際に機能するには、その距離で十分な解像度が必要であり、その可能性は低いと考えています。
デブリン氏は、Androidスマートフォンがこの技術を採用し始めれば、指紋センサーの終焉を意味すると考えている。指紋センサーは顔認証ほど安全ではないと彼は言う。「この技術を世に送り出し、改良を続ければ、低価格帯の静電容量式センサーと価格面で競合できるモデルも登場するだろう」
