GoogleのProject Starlineビデオ会議技術はあなたをホログラムに変えようとしている

ここ数年、Googleは、たとえタイムゾーンが離れていても、まるで別の人間と一緒にいるかのような感覚を味わえるソフトウェア体験の提供に尽力してきました。その一端には、Zoomの競合である退屈なGoogle Meetがあります。もう一端には、ゴーグルとハンドコントローラーを備えた、現在は廃止された仮想現実プラットフォームDaydreamがあります。

しかし、Googleの拡張現実（AR）と仮想現実（VR）の取り組みを率いる、エネルギッシュな社員、クレイ・ベイバー氏にとって、その範囲にあるものはどれも満足できるものではなかった。彼は、ヘッドセットを必要とせず、まるで相手がテーブルの向かい側に座っているかのような、映像、音声、そして臨場感を与える、写真のようにリアルで立体的なビデオ会議を実現したいと考えていた。

そこで彼のチームはビデオブースを製作した。対面会議用の新しいプロトタイプマシンは「プロジェクト・スターライン」と名付けられている。ハイパーテレプレゼンスと呼ぶのもいいし、何と呼んでもいい。いずれにせよ、かなり斬新なものだ。

「ビデオ ブース」という言葉は、現在の形の Starline を最も簡潔に表す言い方です。レストランにあるような大きなブースですが、技術的にははるかに複雑です。5 月初旬に試乗する機会がありました。カリフォルニア州マウンテン ビューの Google キャンパスの外で Bavor 氏と最初の会話をした後、ほぼ誰もいない建物の中に案内され、個室のオフィスに案内されました。そこは Starline のブースで、一部は木製、一部は灰色の布張りで、片側にはベンチが備え付けられ、もう一方には 65 インチのディスプレイがありました。私はディスプレイの向かいに座るように指示されました。照明とカメラがあり、プロダクト マネージャーが私の向かいに座るまではあまり動きはありませんでした。特定の角度から見ると、彼は私の向かいに座っているように見えました。しかし、彼は建物の別の階にいて、Starline を通じて私たちの会議に参加していました。

これはGoogleが提唱するビデオ会議の未来像であり、ごく少数のGoogle社員だけがアクセスできた刺激的なビジョンであり、CEOのサンダー・ピチャイ氏も賛同したようだ。Starlineはパンデミックの最中に、デスクワーカーたちがMeetやZoomの会議を延々と続けながら、あれこれと口ごもりながらミュートしたり解除したりしていた間に開発されたのだろうと考えるのは無理もないだろう。しかし、ベイバー氏によると、Project Starlineの構想に「なるほど！」という瞬間はなかったという。実際、この構想は5年以上前から構想されていたのだ。

「仮想現実や拡張現実について私がずっと興味を惹かれてきたのは、これらの技術があなたを別の場所に連れて行ってくれる、そしてまるで別の場所にいるような感覚を与えてくれるという発想です」とベイバー氏は語る。「でも、世界で最も大切なもの、つまり大切な人たちを自分のところに連れてくる方法はないように思えました。」

同社は本日、年次IOカンファレンスにてProject Starlineのバーチャルプレビューを公開しました。しかし、Starlineはまだコンセプト段階であり、Google Meetの会議を盛り上げるには数年かかるでしょう。

私はここにいます

プロジェクト・スターラインのリード・プロダクト・マネージャー、アンドリュー・ナートカーは、会議にリンゴを持ち込んでいる。これはプロジェクト・スターラインにおけるオブジェクトの存在を示す手段であり、そしておそらくもっと不気味なことに、視線の動きをトラッキングする手段でもある。ブースに着席すると、ナートカーは「ホールフーズで買ったリンゴを見せれば、あなたが何を見ているのか正確に分かります」と言った。ナートカーの姿は衝撃的だ。等身大で目の前に座り、ボリュームと奥行き、そして影までもが感じられる。そしてリンゴ。ナートカーとリンゴは透明な箱に閉じ込められているように見える。

ナートカー氏は、私が使用しているものと全く同じProject Starlineの別のブースから会議に参加している。映像は素晴らしく、空間オーディオが映像を補完している。私が実際に見ているのは、65インチのライトフィールドディスプレイだ。Project Starlineのブースには、10種類以上の深度センサーとカメラが搭載されている（機器の詳細について尋ねると、グーグルはためらった）。これらのセンサーは写真のようにリアルな3次元画像を撮影し、システムはデータを圧縮して、ビデオ通話の両端にあるライトフィールドディスプレイに送信する。遅延はほとんど感じられない。グーグルは独自の特殊効果を適用し、照明や影を調整している。その結果、ビデオ通話中の同僚の姿が超リアルに映し出される。

ボリューメトリックビデオ（ホログラフィックビデオ、あるいは単に3Dビデオと呼ばれることもあります）は、MicrosoftのMixed Reality Capture Studiosや、現在は閉鎖されているIntelのボリューメトリックキャプチャーステージのような、大規模なマルチカメラスタジオで撮影されることが多いです。一方で、Project Starlineがすぐに自宅の臨時オフィスに導入される可能性は低いでしょう。GoogleもProject Starlineのブース建設費用を公表していませんが、私の推測では「かなり高額」でしょう。一方、Project Starlineは、はるかに大規模なボリューメトリックキャプチャースタジオの集大成と言えるでしょう。そしてさらに注目すべきは、ビデオが事後的にレンダリングされるのではなく、すべてがリアルタイムで行われていることです。

すべてのデータはWebRTC経由で送信されます。これは、Googleの主力ビデオ会議アプリであるGoogle Meetで使用されているのと同じオープンソースのインフラストラクチャです。Googleが独自性を発揮しているのは、この3Dビデオを双方向で同期ストリーミングできる独自の圧縮技術です。こうした技術が自宅の安っぽいWi-Fi接続でシームレスに動作するとは想像しがたいものの（Googleは、私が座っていたブースが建物のネットワークに有線接続されていたことを確認しました）、Project Starlineのエンジニアの一人は、この技術はGoogleの標準速度のオフィスネットワークで動作し、光ファイバーは不要だと主張しました。

プロジェクト・スターラインで3人のGoogle社員（全員男性）と会ったのですが、席を少しずらすたびに、その非現実感は薄れていきました。ほんの数センチ横に動くだけで、音量の錯覚は消え去ります。突然、ビデオチャットの相手の2Dバージョンを見ているような気分になります。まるで、ソファのスイートスポットから少し離れるまでは、大画面テレビでスポーツ中継がきれいに映っているのに、少し離れすぎると、その映像が途切れてしまうのと同じです。

画面には、目の前にいる人が実際にはそこにいないことを時折思い出させるような、いくつかの不規則な物体がちらちらと動いていた。そして、Nartker氏がStarlineで二人が共同作業を行う様子の例として、ライトフィールドディスプレイにウェブページを投影し始めた時、私たちは二人とも、インタラクティブとは言い難いページを互いの右肩越しに見つめるだけだった。Starlineは素晴らしいが、まだやるべきことがある。あと5年かかるのだろうか？Googleの担当者たちは答える気配がなかった。

歓迎のプレゼント

Googleによると、スターラインはマウンテンビュー、シアトル、ニューヨークの秘密オフィスに隠されており、これまでに約100人の従業員が利用しているという。ベイバー氏自身も、シアトルとニューヨークの同僚との最近の会議のほとんどでスターラインを使用しており、ブース内で過ごした時間は推定約50時間だという。スターラインでのやり取りによって、脳にこれまで以上に鮮明な印象が刻まれ、細部まで記憶しやすくなり、会議後も実際に相手に会ったかのような感覚で会議を終えられるようになったと彼は断言する。

「向かいに座っている人が会議中にスマホを見ていないのは分かっています。それはそれで良いことです」とベイバー氏は言う。「でも不思議なのは、翌朝起きたら『ああ、昨日スティーブに会った』という記憶が残っているんです。『昨日スティーブとビデオ通話した』とは違います。私たちの記憶の定着の仕方には、何か違うものがあるんです」

ベイバー氏の後者の観察はやや主観的で、もちろん一つの例に過ぎません。前者は、オフィスワーカーが過去14ヶ月間、画面越しの会議に参加してきた今、実際に研究されている現象です。マイクロソフトの調査によると、ビデオ会議中は注意力が散漫になりやすく、これは過度のビデオ会議による精神的負担から身を守るための対処法の一つとなっています。こうした文脈において、GoogleのProject Starlineは特に過剰設計に見えます。手軽に利用できる技術（Google Meet）、オタク的な技術（コンピュータービジョン！圧縮アルゴリズム！）、そして精巧に構築された移動不可能なミニスタジオを融合させたもので、すべては…ビデオ会議のために。

もちろん、技術者たちが目指しているのはフォトリアリズムのリアリズムであり、時には画面を介した接続が唯一の選択肢になることもあるという前提で作業を進めています。では、VRヘッドセットを試してみてはどうでしょうか？

GoogleはVRヘッドセットの開発にも挑戦したが、あまり使われなかった。ARグラスも開発しており、Google Glassを忘れる人はいないだろう。もしGoogle Glassがもう存在しないという記事を書いてしまったとしても、Googleの広報チームはすぐに「Glass Enterprise Edition 2」という製品がまだ販売されていると指摘するだろう。他のコンシューマー向けテクノロジー企業が次々とフェイスコンピューターを開発している昨今、Bavor氏（普段は普通の、スマートではないグラスをかけている）はヘッドアップディスプレイにあまり興味がないのだろうかと疑問に思う。

ベイバー氏は、VRは「人をどこか別の場所に連れて行ってくれるという点で非常に強力」であり、ARとVRからProject Starlineへと繋がる一貫した流れがあると考えていると述べている。しかし同時に、「ARとVRで学んだもう一つのことは、ただ座って何も身につけずにいられるという感覚が素晴らしいということです。これは快適さ、軽さ、気軽さの重要性を物語っていると思います。だから、私もそう考えています」とも認めている。

グーグルは今のところ、プロジェクト・スターラインの規模を縮小しつつ、技術の完成度を高めようとしている。ブースは販売開始次第、企業にも販売される可能性が高い。ベイバー氏によると、グーグルは今年後半に、エンタープライズクラウド企業、遠隔医療アプリ、メディア企業といった少数の初期顧客を対象に、この技術の試験運用を行う予定だが、具体的な企業名は明らかにしていない。

Starlineのために開発された光学系の一部は、より早く日常的なテクノロジーに導入される可能性があります。照明や陰影、空間音響といった錯覚的な要素は、私たちが既に使っているビデオ会議アプリに応用できるかもしれません。それまでは、Project Starlineのブースは主にGoogle社員によって利用されるでしょう。彼らはオフィスに出向き、そのリアリティに驚嘆し、リンゴを掲げ、現実と現実のギャップを一時的に無視するでしょう。

WIREDのその他の素晴らしい記事

• 📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
• セクション230について聞いたことはすべて間違いです
• セミが来たよ。食べちゃおう！
• Google FLoC とは何ですか? プライバシーにどのような影響がありますか?
• スマホでプロ並みのかっこいいヘッドショットを撮る方法
• クロスワードAIが明らかにする人間の言葉遣い
• 👁️ 新しいデータベースで、これまでにないAIを探索しましょう
• 🎮 WIRED Games: 最新のヒントやレビューなどを入手
• ✨ ロボット掃除機からお手頃価格のマットレス、スマートスピーカーまで、Gearチームのおすすめ商品であなたの家庭生活を最適化しましょう