Googleの新しいSoliレーダー技術は、カメラなしでボディランゲージを読み取ることができる

もしコンピューターが、あなたがデスクに座っていないことに気づき、通知音を鳴らさなくなったらどうなるでしょうか？もしテレビが、あなたが玄関のドアを開けるためにソファを離れるのを感知し、Netflixを自動的に一時停止し、再び座ると再生を再開したらどうなるでしょうか？もしコンピューターが私たちの動きからより多くの社会的合図を受け取り、より思いやりのある仲間になることを学んだらどうなるでしょうか？

コンピューターがあなたの行動をすべて監視するなんて、未来的で、もしかしたら少しばかり侵入的すぎるように聞こえませんか？しかし、これらの技術はあなたの居場所や行動を把握するためにカメラに頼る必要がないと知ると、それほど不気味には感じません。代わりに、レーダーが使われているのです。Googleの先端技術・製品部門（通称ATAP、タッチセンサー付きデニムジャケットなど、一風変わったプロジェクトを手がけている）は、この1年間、コンピューターがレーダーを使って私たちのニーズや意図を理解し、適切に反応する方法を研究してきました。

Googleがレーダーを使ってガジェットに空間認識機能を提供するのは今回が初めてではありません。2015年には、レーダーの電磁波を利用して正確なジェスチャーや動きを検知できるセンサー「Soli」を発表しました。この技術は、Google Pixel 4で初めて搭載され、スマートフォンに触れることなく、簡単な手のジェスチャーを検知してアラームをスヌーズしたり音楽を一時停止したりできるようになりました。最近では、第2世代のNest Hubスマートディスプレイにレーダーセンサーが組み込まれ、隣で寝ている人の動きや呼吸パターンを検知できるようになりました。これにより、スマートウォッチを装着することなく、睡眠を追跡できるようになりました。

この新たな研究でも同じ Soli センサーが使用されていますが、センサー入力を使用してコンピューターを直接制御するのではなく、ATAP はセンサーデータを使用して、コンピューターが私たちの日常的な動きを認識し、新しい種類の選択を行えるようにしています。

「テクノロジーが私たちの生活にますます浸透するにつれ、テクノロジー自体に私たちからの指示をもっと求めていくのは当然のことだと考えています」と、ATAPのデザイン責任者であるレオナルド・ジュスティ氏は言います。外出前にお母さんが傘を持っていくように促してくれるように、もしかしたらサーモスタットも、あなたが通りすがりにちらっと見ただけで同じメッセージを伝えてくれるかもしれません。あるいは、ソファで寝落ちしたことをテレビが検知すると、音量を下げるといったことも可能でしょう。

レーダー研究

ジュスティ氏によると、研究の多くはプロキシミクス（近接学）に基づいているという。これは、人々が社会的交流を仲介するために周囲の空間をどのように利用するかを研究する学問である。人との距離が近づくほど、関わりや親密さが増すと期待する。ATAPチームは、この研究やその他の社会的手がかりを用いて、人やデバイスがそれぞれ独自のパーソナルスペースの概念を持っていることを確立した。

レーダーは、ユーザーがコンピューターに近づき、パーソナルスペースに入ったことを検知します。これにより、コンピューターは、ユーザーがボタンを押さなくても画面を起動するなど、特定のアクションを実行できるようになるかもしれません。この種のインタラクションは既存のGoogle Nestスマートディスプレイに既に搭載されていますが、Googleはレーダーの代わりに超音波を用いてユーザーとデバイスの距離を測定します。Nest Hubは、ユーザーが近づいたことを検知すると、最新のリマインダー、カレンダーの予定、その他の重要な通知をハイライト表示します。

近接性だけでは不十分です。もしあなたがたまたま機械の前を通り過ぎて、別の方向を向いていたらどうでしょうか？この問題を解決するために、Soliは、体の向き、進むべき道、頭の向きなど、動きやジェスチャーのより微妙な特徴を捉えることができます。さらに、データをさらに精緻化する機械学習アルゴリズムも活用しています。こうした豊富なレーダー情報により、Soliは、あなたが実際にデバイスとのインタラクションを始めようとしているのか、そしてどのような種類のインタラクションなのかをより正確に推測できるようになります。

この改良された感知能力は、チームが自分たちのリビングルーム（パンデミックの間、自宅にいた）内で一連の計画されたタスクを実行したことから生まれたもので、頭上のカメラが彼らの動きを追跡し、リアルタイムのレーダー感知も行った。

「私たちはさまざまな動き方をし、その動きのさまざまなバリエーションを実行することができました。そして、私たちが扱っていたのはリアルタイムシステムだったため、即興で、発見したことに基づいてリアルタイムで構築することができました」と ATAP のシニアインタラクションデザイナー、ローレンベダル氏は語ります。

ダンスのバックグラウンドを持つベダル氏によると、このプロセスは、振付師が「ムーブメント・モチーフ」と呼ばれる基本的な動きのアイデアを取り上げ、ダンサーがどのように体重を移動させたり、体の位置や向きを変えたりするかといったバリエーションを探求するプロセスと非常に似ているという。これらの研究から、チームは一連の動きを体系化した。これらはすべて、非言語コミュニケーションと、デバイスとの自然なインタラクション、つまり近づく、離れる、通り過ぎる、こちらを向く、背を向ける、ちらりと見るといった動作に着想を得たものだ。

ベダル氏は、コンピューターがこうした動きに反応する例をいくつか挙げた。デバイスがユーザーの接近を感知すると、タッチコントロールを表示したり、デバイスに近づけば受信メールをハイライト表示したり、部屋を出るとテレビがユーザーの視聴を中断した場所をブックマークし、戻ってきた際にその位置から視聴を再開したりできる。デバイスが、ユーザーが単に近くを通り過ぎているだけと判断した場合は、優先度の低い通知で煩わせることはない。キッチンでビデオレシピに従って料理をしているとき、ユーザーが材料を取るために離れるとデバイスは一時停止し、ユーザーが一歩下がって再び料理を始める意思を示すと再開する。また、通話中にスマートディスプレイをちらっと見ると、デバイスはビデオ通話に転送するオプションを提供して、ユーザーが携帯電話を置けるようにすることもできる。

「これらの動きはすべて、人間の自然な動きを活用することで、まるで目に見えないかのようにコンピューターとインタラクションする未来の姿を示唆しています。コンピューターは背景に退き、適切な瞬間にのみ私たちを助けてくれるという考えです」とベダル氏は語る。「私たちはまさに、人間とコンピューターのインタラクションにおいて可能だと認識しているものの限界を押し広げているのです。」

OK、コンピューター

レーダーを利用してコンピューターの反応に影響を与えるには、課題が伴います。例えば、レーダーは部屋の中にいる複数の人を検知できますが、対象者が近すぎると、センサーは人々を単なる不定形の塊としか認識せず、意思決定を混乱させてしまいます。また、まだやるべきことは山積みです。だからこそ、ベダル氏はこの研究はまだ研究段階にあることを（何度か）強調しました。つまり、次世代スマートディスプレイに搭載されることを期待するのはまだ早計です。

レーダーが時間の経過とともにあなたの習慣を学習するのに役立つと考えるのには十分な理由があります。ATAPのジュスティ氏によると、これは研究ロードマップに載っている分野の一つで、個人の目標に関連した健康的な習慣を提案するといった可能性も秘めています。真夜中に私がスナック菓子売り場に向かっていることに気づいたら、スマートディスプレイが巨大な停止標識に変わるのを想像してみてください。

これらのデバイスは、ユーザーが望むであろう一連のアクションを実行する際に、バランスを取る必要があります。例えば、キッチンで料理をしているときにテレビをつけたい場合、レーダーは誰かがテレビを見ていることを検知せず、つけっぱなしにするのではなく一時停止します。「非常に目立たず、シームレスで流動的なインタラクションパラダイムの研究を始めるにあたり、ユーザーによる操作と自動化の間に適切なバランスが必要です」とベダル氏は言います。「操作は簡単であるべきですが、ユーザーが望むであろう操作や設定の数を考慮する必要があります。」

ATAPチームがレーダーを採用したのは、豊富な空間データを収集する方法の中でも、プライバシーに配慮した方法の一つだからです（また、遅延が非常に少なく、暗闇でも動作し、音や温度などの外的要因の影響を受けにくいという利点もあります）。カメラとは異なり、レーダーは体や顔、その他の識別手段を識別可能な画像として捉え、保存することはありません。「高度なモーションセンサーのようなものです」とジュスティ氏は言います。Soliの検知範囲は約9フィート（約2.7メートル）と、ほとんどのカメラよりも狭い範囲ですが、Soliセンサーを搭載した複数のガジェットを家庭内に設置することで、空間全体を効果的にカバーし、家庭内での居場所を追跡するための効果的なメッシュネットワークを構築できます（なお、現行のGoogle Nest Hubに搭載されているSoliセンサーのデータはローカルで処理され、生データはクラウドに送信されることはありません）。

カーネギーメロン大学で人間とコンピュータのインタラクションを研究し、Future Interfaces Groupのディレクターを務めるクリス・ハリソン氏は、消費者はプライバシーを犠牲にするか否かを決める必要があると述べている。結局のところ、Googleは「ユーザーのデータを収益化する世界的リーダー」なのだから。しかし、それでもハリソン氏は、Googleのカメラレスアプローチは、ユーザーファーストとプライバシーファーストの視点に非常に合致していると考えている。「プライバシーを侵害するものと、侵害しないものなどありません」とハリソン氏は言う。「すべてはスペクトラム上に存在するのです。」

デバイスがSoliのようなセンサーを搭載し、より多くのデータを収集できるようになるにつれ、人間をより深く理解する能力も高まります。ハリソン氏は最終的に、ATAPが構想するような、人間とコンピューターのインタラクションの改善がテクノロジーのあらゆる側面で実現することを期待しています。

「人間は人間の行動を真に理解するように生まれつき備わっています。コンピューターがそれを破ってしまうと、こうした非常に苛立たしい状況に陥ってしまうのです」とハリソン氏は言う。「社会科学者や行動科学者のような人々をコンピューターの分野に招き入れることで、こうした体験ははるかに快適で、より人間的な体験となるのです。」

Google ATAPの研究は、「In the Lab With Google ATAP」という新シリーズの一部であり、今後数か月以内にYouTubeチャンネルで新エピソードが公開される予定です。今後のエピソードでは、Googleの研究部門における他のプロジェクトについても取り上げる予定です。

WIREDのその他の素晴らしい記事

📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
酔っ払いながら運転？ハイテクの探求で解明へ
マンモスには特許が必要かもしれない
ソニーのAIがチャンピオンのようにレースカーを運転
古いスマートウォッチやフィットネストラッカーを売る方法
インテルが自社チップのハッキングを試みる研究室の内部
👁️ 新しいデータベースで、これまでにないAIを探索しましょう
🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください