Appleが複合現実(MR)ヘッドセットの開発に取り組んでいる証拠が必要なら、HoloKit Xを試してみてください。DJI、Google、Twitterなどの企業で経験を積み、現在はHolo InteractiveのCEO兼創設者であるBotao Amber Hu氏が開発したこのヘッドセットは、iPhoneの既存の機能のみを利用して、インタラクティブなハンズフリー拡張現実(AR)体験を実現します。Appleがスマートフォンに既に搭載されている技術を使ってヘッドセットを作ったら、どんなことが可能になるのかを示す、力強いショーケースと言えるでしょう。
クパチーノから出てくるようなヘッドセットは、ほぼ間違いなく1000ドル以上するだろう(所詮はAppleだ)。参考までに、Metaの最新の複合現実ヘッドセットを見てみよう。価格は1,499ドルから。MicrosoftのXRプラットフォームのヘッドセットは600ドルから1,000ドルだ。こうした高価格こそが、HoloKit Xの存在意義なのだ。長年、未来のコンピューティングとニューメディアアートに特別な関心を抱いてきたフー氏は、複合現実の世界を「民主化」したいと述べている。HoloKit Xの価格は129ドルで、必要なのは最新のiPhone(iPhone MiniとiPhone SEを除く)だけだ。
頭にiPhoneを装着
HoloKit Xは、光学レンズを内蔵したプラスチック製のヘッドセットです。NFCセンサーを除けば、テクノロジーは一切搭載されていません(NFCセンサーについては後ほど詳しく説明します)。昔ながらのView-Masterのような、単なるビューワーとして考えてください。Google Cardboard、Lenovoのスターウォーズゲーム用ARセット、あるいは現在は廃止されたGoogle DaydreamといったモバイルVRヘッドセットと同様に、HoloKit XにはiPhoneを取り付ける必要があります。

写真: HoloKit
VRヘッドセットとは異なり、画面を見つめる必要はありません。iPhoneは目から離れた位置に装着されます。その代わりに、ガラス越しに60度の視野で現実世界と周囲の人々を見ることができます。iPhoneの画面は、背面カメラを使ってAR体験を実現すると同時に、レンズに立体的に映し出され、現実世界に埋め込まれた仮想の3Dオブジェクトを効果的に見ることができます。
HoloKit Xでできることは、現時点では限られています。HoloKitアプリには、フー氏が「リアリティ(現実)」と呼ぶ体験がほんの一握り用意されています。その一つが、敵に魔法を唱えるマルチプレイヤー決闘ゲームです。映像は鮮明で色鮮やか、そして非常にシャープで、プラットフォームはAppleのARKitフレームワークを介して6自由度をサポートしています。そのため、仮想オブジェクトを自由に動かしても、それらは現実世界の配置した場所に固定されたままになります。さらに、ゲームをプレイしている最中に、しゃがんで爆発をかわすことも可能です。「敵」は、共有スペースでHoloKit Xを使用している他の人、仮想キャラクター、あるいはiPhoneだけで操作されているキャラクターかもしれません。
HoloKitアプリはiPhoneのみで動作するため、既存の技術を活用しています。例えば、他のHoloKit Xユーザーとゲームをプレイする機能は、携帯電話のデータ通信やWi-Fiではなく、AirDropを支えるローカルネットワーク技術に依存しています。これは「Spectator View」にも応用されており、iPhoneとHoloKitアプリを使えば、誰でも自分のスマートフォンをシーンに向けるだけで、あなたのAR体験をリアルタイムで視聴できます。(この映像を録画してソーシャルメディアで共有したり、AirPlay経由でテレビにキャストして他の人に見せることも可能です。)Holo Interactiveは、他のユーザーがAR体験を操作できるようにする「Puppeteer」モードも開発中だとフー氏は言います。
拡張現実(AR)体験にはいくつかの方法があります。HoloKitアプリは、AppleのVisionフレームワーク技術を使用して、ユーザーの手を識別・追跡します。デモは見ていませんが、手を使ってオブジェクトを操作するだけで、iPhoneのカメラが手の動きを認識するという仕組みです。Hu氏によると、HoloKitはPlayStationコントローラーなど、iPhoneに接続できるあらゆるBluetoothデバイスにも対応しています。
私がデモしたのは、Apple Watchのジャイロスコープを、Wiiリモコンのようにモーションコントローラーとして使う機能だ。Hu氏は、HoloKitウォッチアプリをインストールして起動したApple Watch(Watch Series 4以降で動作)を私の手首に巻き付け、魔法を放っているような感覚を味わえるようにと、魔法の杖を渡してくれた。するとなんと、ジェスチャーや手首を軽く動かすだけで魔法を唱えることができた。杖を下に向ければ充電バーが充電され、より強力な魔法を発動させることもできた。没入感を高めるのが、その機能をサポートするAppleのヘッドホンで空間オーディオを使うことで、右耳のそばを魔法がかすめていくのが聞こえる。iPhoneの触覚振動は感覚入力に別のレイヤーを加えるが、ヘッドセットにiPhoneが取り付けられているため、振動するのは額の近くだけなので、すぐには感じられないかもしれない。
HoloKit X は、iPhone XS、XS Max、iPhone 11、iPhone 11 Pro および 11 Pro Max、iPhone 12、iPhone 12 Pro および 12 Pro Max、iPhone 13、iPhone 13 および 13 Pro Max、iPhone 14、iPhone 14 および 14 Pro Max で使用できます。(装着するにはケースを外す必要があります。) iPhone 12 シリーズ以降の Pro モデルに標準装備となった LiDAR センサーを搭載した iPhone で最高の体験が得られます。
決闘アプリはLIDARセンサーを使用していませんが、仮想オブジェクトが空間を埋め尽くし、物体や人と相互作用するAR体験を提供する別のAR体験があります。LIDARセンサーは、スマートフォンとアプリが周囲の環境を認識するのに役立ち、iPhoneのプロセッサに搭載されたNeural Engineは、物体と人の検出に役立ちます。
HoloKit Xの真価は、装着感の快適さにあります。バイザーハットのようなスタイリッシュなデザインで、頭にしっかりとフィットします。頭に巻いて締められるふわふわのバンドは交換可能ですが、私がもっと感心したのは、ヘッドセットが眼鏡の邪魔にならないことです。全体に鮮やかな色を添えれば、『カウボーイビバップ』のようなSF作品から飛び出してきたようなガジェットに見えます。ヘッドセットに搭載されている技術はNFCセンサーのみで、フー氏によると、ヘッドセットに装着されているデバイスや、最も多く使用されたARアプリなどの匿名データを追跡できるとのことです。
ホロガーデン

写真: HoloKit
ハードウェアは完成していますが、HoloKitアプリはまだ管理されたベータ版の段階です。ヘッドセットは現在購入できますが、HoloKitアプリのTestFlight版にしかアクセスできません。Hu氏によると、彼のチーム(約10名)は、11月末までに追加のRealityを搭載してApp Storeでリリースする予定とのことです。そして、最適なRealityを構築することが肝心なのです。
「StAR(立体AR)のキラーアプリはまだ完成していません」とフー氏は言う。「誰もがAppleやMetaを待っていますが、一体何のためです? 誰もがハードウェアの話ばかりで、アプリの話をする人はいません。誰もが労働者の製品化や兵士の兵器化ばかりを話題にしています。私たちはそれが未来だとは思っていません。顔に通知を表示すると言っている人もいますが、それはApple Watchです。私たちは既にそれを持っています。」
フー氏によると、同社は現時点でソフトウェア開発キットをリリースする予定はないという。代わりに、コンテンツ制作とニューメディアのバックグラウンドを持つソフトウェア専門家チームが、初期のRealitiesを開発する。特に、Realitiesは非常に多くの新しい技術を採用しているため、他の開発者にその使い方を教えるのは難しいからだ。また、フー氏は自身の「RealVerse」がどのようなものになるかについて明確なビジョンを持っている。「なぜHoloKitを作ったのか?私はアーティストです。同じようなものを夢見ていました。だから、みんなに夢を共有できるようにHoloKitを作ったのです。」技術と市場が成熟すれば、Holo InteractiveはHoloKitをオープンソースソフトウェアライセンスの下でリリースするとフー氏は期待している。
このプラットフォームは、今後もパートナーシップやコラボレーションに大きく依存します。Holo Interactiveはすでにニューヨーク市のWeb3 Galleryと提携しており、HoloKit Xのデモを体験することができます。将来的には、NFTやアバターが現実世界で動き出す様子を見ることができるようになるでしょう。
HoloKitの大部分は、美術館やWeb3ギャラリーのようなスペースに設置され、クリエイティブなプロフェッショナルやマーケターがメタバースの会話に乗じて、複合現実(MR)でアートやブランド体験を披露するための手段として設計されているように思われます。しかし、Hu氏はそこにコミュニティも存在させたいと考えています。だからこそ、Spectator Modeを使えば、HoloKit Xの体験を誰かと共有したり、見たりすることがとても簡単になります。
しかし、HoloKitが対応できない市場が存在します。それはAndroidユーザーです。フー氏によると、チームが開発したものはすべて、Androidスマートフォンにはまだ搭載されていないLiDARなど、iPhoneの特定の技術に依存しているとのこと。「ARには、ハードウェア、ソフトウェア、そしてシリコンが連携して動作する必要があります」とフー氏は述べ、これはGoogleがつい最近実現したばかりの偉業です。「WebXRが成熟するまではAndroidをサポートしません」と彼は述べ、ブラウザからアクセスできる複合現実(MR)体験を作成できるプラットフォームを指しています。
Appleは開発者会議のたびに様々な拡張現実(AR)体験を披露してきたが、通常は人がスマートフォンを顔にかざして空間を歩き回るというものだ。フー氏は、これはインタラクティブとは到底言えないと考えている。既存の技術をシステムに統合し、iPhoneを頭に載せるだけで両手が自由になり、仮想世界に引き込まれることなく操作できるシステムを構築すれば、Appleの取り組みをさらに向上させ、iPhoneを持つより多くの人々にこの新しい現実を初めて体験してもらう可能性を秘めている。