ポテトチップスの袋から世界の反射を見る方法

鏡は、高速道路で追い越していく車や、顔にできた厄介な発疹など、視界の外にある物体を見るのに役立ちます。そして実は、コンピューター処理を少し加えるだけで、ほとんどどんな光沢のある物体でも、ちゃんとした鏡として使えるのです。ワシントン大学のコンピューター科学者たちは新たな研究で、スナック菓子の袋の金属の裏地から反射した光を利用して、周囲の状況を比較的忠実に再現することに成功しました。

「驚くべきことに、光沢のあるポテトチップスの袋の画像には、部屋の詳細なイメージを再構成するのに十分な手がかりが含まれています。照明の配置、窓、さらには窓から見える外の物体までもが対象です」と、ワシントン大学のジョン・ジュン・パーク氏、アレクサンダー・ホリンスキー氏、スティーブ・ザイツ氏の共著者は、今年のコンピュータビジョンとパターン認識に関する会議の議事録に採択された論文の中で述べています。彼らの研究は、仮想現実（VR）と拡張現実（AR）技術における技術的なハードルの解決に役立つものですが、その潜在的な用途、そして悪用の範囲ははるかに広いと指摘する専門家もいます。

厳密に言えば、研究者たちは実際にチップスを使ったわけではない。彼らは韓国ブランドのチョコレートコーティングされたコーンパフ「コーンチョ」を使って部屋を再現したのだ。しかし、コーンパフであれポテトチップスであれ、スナック菓子の袋はまるで歪んだ鏡のように機能する。袋に反射した光のきらめきには、部屋のひどく歪んだ映り込みが含まれている。そこで研究チームは、そのきらめきをぼやけながらも認識可能な画像に復元するアルゴリズムを開発した。

ある例では、研究者たちは窓の前に立つ男性のシルエットを解像することができました。また別の例では、バッグの反射を利用して窓越しに通りの向かいの家がはっきりと見え、階数を数えられるほどでした。このアルゴリズムは様々な光沢のある物体に適用でき、光沢があるほど良い結果が得られます。例えば、磁器でできた猫の光沢を使って、周囲の天井照明の配置を再現することもできました。

窓の前に立つ人物の同じシーンを捉えた2枚の写真。上の写真はぼやけており、下の写真は鮮明です。

一般的に、光沢のある物体の画像はコンピューターを混乱させる傾向があります。例えば、光の反射によってコンピューターが物体を正確に識別することが困難になることがよくあります。「本当に興味深いのは、コンピューターが反射を画像の劣化とは見なさなかったことです」と、ニューヨーク大学AI Now研究所の人工知能研究者、デボラ・ラジ氏は述べています。ラジ氏は今回の研究には関与していません。「彼らは『反射で何が見えるのか？』と自問したのです。」

環境を再構築するために、研究者たちは、光沢のある物体の形状と距離を大まかに検出する深度センサーを搭載した手持ちのカラービデオカメラを使用しました。彼らはこれらの物体を約1分間撮影し、様々な視点からその反射を捉えました。次に、機械学習アルゴリズムを用いて周囲の環境を再構築しました。この作業には、物体1つあたり約2時間を要しました。コーネル大学のコンピューター科学者エイブ・デイビス氏（この研究には関与していません）は、アルゴリズムの学習に使用したデータの量が比較的少ないことを考えると、この再構築は驚くほど正確だと述べています。

研究者たちが非常に少ない訓練データでこの精度を達成できたのは、再構成アルゴリズムにいくつかの物理学的概念（例えば、光沢のある表面とマットな表面における光の反射の違いなど）を組み込んでいるからである。これは、現在使用されている一般的なオンライン画像認識ツールとは異なり、科学的な追加情報なしに画像内のパターンを探すだけのものである。しかし、研究者たちは、アルゴリズムに物理学的要素を過剰に取り入れると、処理戦略が硬直化しすぎて、機械のミスが増える可能性があることも発見した。「彼らは、物理的な洞察と最新の機械学習ツールのバランスをうまく取っています」とデイビスは言う。

ただし、環境の再構築は、より大規模なプロジェクトにおける単なる 1 つのタスクに過ぎませんでした。研究者の最終目標は、ポテトチップスの袋の新しい 3D 視点を生成すること、つまりコンピューターに 360 度すべてから見た袋の外観を正確に予測させることでした。光沢のある物体のリアルなビューを作成することは、AR および VR 研究者にとって大きな課題です。たとえば、ポテトチップスの袋のグレアパターンは、明るい部屋でさまざまな角度から見ると劇的に変化します。コンピューターにこれらの変化するパターンを再現させることは難しいため、仮想の光沢のある物体は歪んで平坦に見えることが多く、あまりリアルではありません。しかし、ワシントン大学の研究者は、最初に光沢のある物体の環境を再構築することで、物体のよりリアルなビューを作成できることを発見しました。

「3D世界の再構築に非常に興味があります」と、ワシントン大学の大学院生で論文の筆頭著者であるパーク氏は語る。「つまり、自分が今いる部屋をコピーして仮想世界に置き、後でリアルな方法で操作できるようにするということです」。パーク氏は例えば、VRゲームにおける将来的な用途について言及している。よりリアルな仮想視点は、IKEAのような家具メーカーにもメリットをもたらす可能性がある。IKEAはすでに、自宅の部屋に自社製品を仮想的に配置できるARアプリ「IKEA Place」を提供している。

しかし、一部の専門家は、この技術の将来的なバージョンは悪用される可能性が高いと警告している。例えば、新興技術の社会的影響に焦点を当てた非営利研究センター、データ＆ソサエティの倫理学者ジェイコブ・メトカーフ氏は、この技術がストーカーや児童虐待者にとっての脅威となる可能性があると指摘する。ストーカーは、作成者の同意なしにInstagramから画像をダウンロードし、その画像に光沢のある表面が含まれていれば、アルゴリズムを用いて周囲の状況を再現し、その人物の個人情報を推測することができる。「Pythonパッケージを使ってInstagramから写真をスクレイピングする人が大勢いるだろうと確信した方がいいでしょう」とメトカーフ氏は言う。「有名人や、光り輝く表面を持つ子供の写真を見つけて、何かをしようとするかもしれません。」

パーク氏は、インスタグラムの画像には彼のアルゴリズムが機能するために必要な3D深度情報が含まれていないと指摘する。さらに、彼のチームは潜在的な悪用、特に監視などのプライバシー侵害を考慮したと述べているが、現在公開されている論文のバージョンではこれらの倫理的考慮事項について明確に議論されていない。パーク氏は、YouTubeなどの画像および動画プラットフォームが将来、動画内の反射面を自動的に検出し、画像をぼかしたり処理したりして、再構成アルゴリズムが機能しないようにする可能性があると述べている。「将来の研究により、プライバシーを保護するカメラや、反射から推測できる環境を制限するソフトウェアが可能になる可能性があります」とパーク氏はWIREDへのメールで述べている。また、彼は現在のアルゴリズムは脅威になるほど正確ではないとも述べている。

メトカーフ氏は、パーク氏と共著者らはこれらの倫理的配慮を論文の中で直接述べるべきだと考えている。実際、彼はデータサイエンスコミュニティ全体が、論文に倫理に関するセクションを一貫して含める必要があると考えている。「はっきりさせておきたいのですが、これは特定の研究者を批判しているのではなく、データサイエンスの規範を批判しているのです」とメトカーフ氏は言う。「学問分野としてのデータサイエンスの規範は、このような論文が人々の幸福に甚大な影響を与える可能性があるという事実をまだ認識していません。」

こうした倫理的な議論は、その分野における将来の研究の方向性に影響を与える可能性があると、ラジ氏は言う。「『研究の意図を表明しても意味がない。人々は自分のやりたいことをやるだけだ』と考える研究者もいます」と彼女は言う。「しかし、彼らが気づいていないのは、倫理的な発言がしばしばその分野の発展そのものを形作るということです。」

WIREDへの電子メールでの回答で、パーク氏は、6月に開催予定の会議に合わせて発表される論文の正式版に倫理のセクションを追加する予定だと書いている。

スナック菓子の包装をセンサーとして利用できることに気づいたのは、パーク氏のチームが初めてではない。2014年、デイビス氏らはポテトチップスの袋をマイクとして使えることを実証した。彼らはポテトチップスの袋に「メリーさんのひつじ」のMIDIファイルを流し、袋の振動を高速で撮影した動画を処理することで、曲を再生することに成功した。

「ただそこに置かれているだけの日常的な物体の画像には、驚くほど多くの情報が含まれています」とデイビス氏は言う。適切なアルゴリズムを使えば、かすかな音や光のきらめきさえも物語を語ることができるようだ。

WIREDのその他の素晴らしい記事

自由奔放で著作権を侵害するカスタムプリントTシャツの世界
自宅のWi-Fiをアップグレードしてインターネットを高速化する方法
クロロキンはCOVID-19と戦うかもしれない―シリコンバレーはこれに関心を示している
これらの産業用ロボットは、あらゆるタスクに熟練していきます
オンラインアカウントを安全に共有する方法
👁 AIがそんなに賢いなら、なぜ因果関係を理解できないのでしょうか？さらに、最新の人工知能ニュースもお届けします
🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください