PerceptusソフトウェアプラットフォームがARアプリのメモリを増強

レゴブロックが詰まった箱をテーブルの上にこぼしてしまったら？さあ、私と一緒に飛び込んでみましょう。想像上の拡張現実（AR）グラスを装着してみてください。ARグラスのカメラが、目の前にある様々な種類のブロックを、形や色など様々な要素から即座に分類し始め、持っているパーツで作れるモデルを提案してくれます。でも、ちょっと待ってください。ドアの前に誰かがいます。確認に行って戻ってきてください。ありがたいことに、ARグラスはすべてのブロックを再スキャンする必要はありません。ARは、ブロックがテーブルの上にあなたが置いたままになっていることを認識しているからです。

スキャンした現実世界のオブジェクトを継続的に記憶する能力こそが、Singulos Researchの新しいARソフトウェアプラットフォーム「Perceptus」の最大の売りです。Perceptusは、カメラがシーンを直接見ていないときでも、それらのオブジェクトをメモリに保持できます。あなたがドアを開けるために歩いている間も、Perceptusプラットフォームはテーブルの上のピースを使って他に何が作れるかを考え続けます。あなたがピースを見なくなったからといって、動作が停止することはありません。

「AR空間にいるとき、私たちは部屋全体を一度に見るのではなく、一部だけを見ています」と、Singulos ResearchのCEO、ブラッド・クイントン氏は語る。「人間は、以前に見たことがあり、記憶しているため、今は見えないものが存在するという考えに何の問題もありません。周囲の状況を理解できるARがあれば、ARは自動的に行動を起こし、あなたに代わって何かをしてくれるでしょう。」

少なくとも、それがアイデアです。Perceptusは、AppleのARKitやGoogleのARCoreといった既存のAR技術の上位レイヤーとして機能します。開発者は現在、これらの技術をARアプリの開発に利用しています。しかし、スマートフォンやタブレットで動作するようになるまでには、舞台裏で多くのことが必要です。

アプリ開発者は、Singulos Researchに、Perceptusに検出させたいレゴブロック（あるいはあらゆる物体）の3Dモデルを提供します。プラットフォームは機械学習の一種を用いて、現実世界における様々な照明条件や表面など、物体がどのように見えるかを学習します。そして、Perceptusは開発者のアプリに重ねて実装され、この新しい物体理解機能を活用できるようになります。開発者の役割は、アプリが実際に物体を使ってできることを提供するようにすることです。例えば、私たちの想像上のレゴアプリが、識別したブロックを使って作れるものを提案してくれるように。

オブジェクトのスキャンと識別は、依然として非常に手作業が多いプロセスです。Perceptusプラットフォームのライセンスを取得するアプリ開発者は、まずは記憶させたいオブジェクトのCADモデルを提供する必要があります。しかし、これらのCADモデルはSingulosのライブラリに追加され、将来の開発者はデジタルスタックを検索して必要なオブジェクトをより迅速に見つけることができるようになります。Quinton氏は、Perceptusが近い将来、一般的なアイテムを幅広く識別できるようになると予想しています。特に、ビデオゲームメーカーから「非常に正確な3Dモデルが大量に提供されている」ためです。

このプラットフォームは、ARアプリを起動するずっと前から特定のオブジェクトを識別するようにトレーニングされているため、画像データをクラウドサーバーに送信して分析する必要はありません。Perceptusはデバイス上でローカルに実行され、既存のモバイルプロセッサでも問題なく動作します。実際に動作しているのを見ると、感銘を受けました。クイントンがiPadをレゴブロックでいっぱいのテーブルに近づけると、カメラがすべての形状と色をリアルタイムで識別し始めました。完璧ではありませんでしたが（いくつかのピースを見逃していました）、非常に近い認識でした。

さらに印象的だったのは、同社が開発したチェスのデモで、私はこれを使ってクイントンと仮想的にチェスをプレイしました。彼はiPadのカメラを、白の駒だけが置かれたチェス盤に向けました。彼が盤上で実際の駒を動かすと、私のコンピューター画面のブラウザタブに表示されたイラスト付きの盤上でも、その駒が動きました。私が指すと、iPadのディスプレイに映っている仮想の黒の駒が、彼の盤上で私が指示した場所に動きました。iPadの画面を通して見ると違和感がありますが、ARグラスを装着しながらこのゲームが展開される様子を想像すると、はるかに納得がいきます。

クイントン氏は、それがパーセプタスの長期目標だと述べ、このプラットフォームが既にAppleデバイス、QualcommのSnapdragonチップ搭載モバイルデバイス、さらにはGoogleのTensorプロセッサ（ニューラルアクセラレータを搭載したチップで、これらの企業が今後発売するARデバイスの基盤となる可能性が高い）で動作していることを指摘した。他のARハードウェアにも容易に応用できるはずだ。

「このシステムで一番素晴らしいと思うのは、仮想世界と現実世界の相互作用です」とクイントンは言う。「メタバースのようなもので、現実ではないんです。チェスの駒はここにはないけれど、私たちは新しい現実を作り出しているんです。チェス盤があって、このアプリも使えるなんて、想像に難くありません。そして、私たちは重なり合った、私たちがいるけれど実際にはどこにも存在しない、物理的な現実を作り出したんです。」

コンピュータービジョン研究者で、シカゴの豊田工業大学の学長でもあるマシュー・ターク氏は、このアプローチには利点があると述べています。機械学習アルゴリズムに入力するために、物体の写真を大量に撮影したり、インターネットで何千枚もの写真を探してもらったりする必要がないのです。ターク氏によると、これは物理的なコンポーネントを必要とするARアプリには適したソリューションですが、汎用的なARへの適用範囲は限られる可能性があるとのことです。

「接触するあらゆる物体のCADモデルがあるわけではありません」とターク氏は言います。「もし本当にCADモデルが存在するものだけに焦点を当てているのであれば、そのセットはかなり限られています。たとえ、人々が提供するライブラリを通じて、そのセットは時間とともに拡大していく可能性があったとしてもです。長期的には、すべての人にとって十分ではありませんが、多くの興味深い用途には十分です。」

このように 3D モデルを操作することは出発点ですが、AR グラスを何かに向けるだけで、何を見ているのかが正確にわかるようになる世界まではまだ数歩しか離れていません。

WIREDのその他の素晴らしい記事