FacebookはVRアバターをあなたの見た目と動きにそっくりにできる

「ドアの前に、大きな醜い嫌な奴がいたんです」と、若い女性は目を輝かせながら言った。「そして、彼は『レナ・ホーン、お前は誰だと思ってるんだ？』と言ったんです。私は『違います』と答えましたが、ホーン嬢のことを妹のように知っていると言いました」

これはウォルトン・ジョーンズの劇『1940年代のラジオ・アワー』からの短い独白の冒頭だ。彼女が独白を続けるにつれ、この若い女性が何をしているのかが容易に分かる。ドアマンの口調の変化を語り始めると、彼女の笑顔は深まる。まるで冗談を聞かせているかのように。彼女は唇を歪め、適切な言葉を捉え、抑揚を操る。彼女の表情は実に繊細で、朗読は自信に満ちており、暗い背景を背に、まるで70年代後半のブロードウェイ劇のブラックボックス・リバイバルを見ているかのようだ。

ただ一つ問題があります。彼女の体は首から下が消えてしまうのです。

ヤセル・シェイクが手を伸ばして動画を止めた。女性は驚くほどリアルな仮想現実アバターで、事前に収集されたデータに基づいてパフォーマンスが生成された。しかし、Facebook Reality Labsのピッツバーグ拠点を率いるシェイクは、さらに印象的な別の動画を持っている。その動画では、同じ女性がVRヘッドセットを装着して登場し、若い男性も登場する。ヘッドセットを装着した二人の実生活の姿が画面の左側で会話を交わし、同時に右側では二人のアバターが完璧なリズムで会話を続けている。ホットヨガの話など、ありふれた会話ではあるが、同時に未来を垣間見ることのできる、前例のない動画でもある。

これまで何年もの間、人々はアバター、つまりコンピューターが生成した私たちを表すキャラクターを介して仮想現実で交流してきました。VRヘッドセットとハンドコントローラーは追跡可能なので、現実の頭と手の動きが仮想の会話に反映され、無意識の癖が重要な質感を加えます。しかし、仮想の交流がより自然になっても、技術的な制約により視覚的にはシンプルなままにとどまらざるを得ませんでした。Rec RoomやAltspaceなどのソーシャルVRアプリは私たちを似顔絵のように抽象化し、その表情は私たちが実際に顔でしていることとはほとんど（あるいは全く）一致していません。FacebookのSpacesは、ソーシャルメディアの写真からあなたの妥当な漫画風の近似値を生成することができますが、特定の表情を引き起こすにはボタンとサムスティックに依存しています。スキャンした自分の3DモデルをインポートできるHigh Fidelityなどのより技術的に要求の厳しいプラットフォームでさえ、アバターをあなたに似せることには程遠いものです。

だからこそ、私は3月初旬の途方もなく寒い朝、ピッツバーグにいる。部外者はほとんど足を踏み入れたことのない建物の中にいるのだ。ヤセル・シェイクと彼のチームは、ついに、イースト・リバティ地区に小さなオフィスを借りて以来、彼らが何に取り組んできたのかを私に教えてくれる準備ができた。（その後、カーネギーメロン大学のキャンパス近くのより広いスペースに移転し、今後1、2年でさらに拡張する予定だ。）Facebook Reality Labsが「コーデック・アバター」と呼ぶこのアバターは、機械学習を用いて人間の社会的表現を収集、学習、そして再現するプロセスの成果だ。しかし、一般公開の準備はまだ整っていない。Facebookが実際に導入するとしても、せいぜい何年も先の話だ。しかし、FRLチームはこの議論を始める準備はできている。「もし完成させることができれば、大きな成果になるだろう」とシェイクは、完成を確信している男の抑えきれない笑みを浮かべながら言った。「私たちはそれを明らかにしたい。それについて話し合いたいのです。」

1927年のエッセイ「社会における無意識の行動パターン」の中で、人類学者エドワード・サピアは、人間は「どこにも書かれておらず、誰にも知られず、誰もが理解する、精巧で秘密のコードに従って」ジェスチャーに反応すると記しています。それから92年後、その精巧なコードを再現することが、シェイクの永遠の使命となりました。

Facebookに入社する前、ヤセル・シェイクはカーネギーメロン大学の教授として、コンピュータービジョンと社会認識の交差点を研究していました。2015年、Oculusのチーフサイエンティストであるマイケル・アブラッシュが彼に連絡を取り、ARとVRの将来について議論を求めた際、シェイクはためらうことなく自身のビジョンを共有しました。「VRの真の可能性は」と、いつものコーヒーを両手で握りしめながらシェイクは言います。「飛行機で直接私に会う代わりに、ヘッドセットを装着して、今まさに私たちが交わしているような会話をすることができることです。あなたの漫画版や私の鬼版ではなく、あなたと同じ姿、あなたと同じ動き、あなたと同じ声で。」

（施設設立文書の中で、シェイク氏はこの施設を「ソーシャルプレゼンス・ラボ」と表現しました。これは、脳が仮想環境や仮想インタラクションに対して、まるで現実であるかのように反応する現象を指しています。また、シェイク氏は7～8人の人員を投入することで、5年以内にフォトリアリスティックなアバターを実現できると考えているとも述べています。ミッションは変わりませんでしたが、期待は必然的に変化しました。名称も変わり、Oculus Researchは昨年、Facebook Reality Labsに改名されました。）

Codec Avatarsの根底にある理論はシンプルで、シェイク氏が「エゴテスト」と「ママテスト」と呼ぶ2つの要素から成り立っています。つまり、あなたは自分のアバターを愛すべきであり、あなたの愛する人たちもそうあるべきだということです。アバターを有効化するプロセスははるかに複雑で、私自身も2つの異なる撮影手順でそれを体験しました。1つ目は「マグジー」と呼ばれるドーム状の囲いの中で行われます。壁と天井には132個の市販のキヤノンレンズと、椅子に向けて集中する350個のライトがちりばめられています。中央に座ると、まるでパパラッチでできたブラックホールの中にいるような気分になります。「最初はぎこちなく『マグシューター』と名付けました」とシェイク氏は認めます。「でも、それはひどくて不親切な名前だと気づいたんです」。それは数バージョン前の話です。 Mugsy はカメラと機能の両方が着実に向上しており、初期の間に合わせの機能 (参加者が顔を正しい位置に保つために紐の付いたピンポン玉を使用するなど、ガレージに車を置くようなスタイル) は当然の時代遅れとなった。

マグジーでは、研究参加者は約1時間椅子に座り、一連の大げさな表情をしたり、セリフを声に出して読んだりする。その間、別の部屋にいる従業員がウェブカメラを通して指導する。歯を食いしばって。リラックスして。歯を全部見せて。リラックスして。顔全体をくしゃくしゃにして。リラックスして。「魚のように頬をへこませて」とテクニカルプログラムマネージャーのダニエル・ベルコが私に言う。私は身動きが取れなくなるほどの自意識に負けまいと必死に努める。「頬をふくらませて」

パノプティコンという言葉が頭に浮かぶのも当然だろう。もっとも、この言葉は2つ目のキャプチャエリア、社内でソシオプティコンと呼ばれているより大きなドームに当てはまるだろう（シェイク氏はOculus/Facebookに入社する前、カーネギーメロン大学にその前身となるパノプティコン・スタジオを設立している）。ソシオプティコンはマイクロソフトのMixed Reality Capture Studioによく似ているが、カメラの数が多く（180台から106台）、解像度も高く（2.5K x 4K対2K）、フレームレートも高い（90Hz対30/60）。Mugsyが顔に集中していたのに対し、ソシオプティコンはコーデック・アバター・システムが人間の体の動き、そして服装を学習するのを手助けする。だから私がそこで過ごす時間は、表情を観察する時間というより、いわゆる「のんびり体操」、つまり手足を振ったり、飛び跳ねたり、ウェブカメラを通してベルコとジェスチャーゲームをしたりすることに多くの時間を費やしている。

重要なのは、ニューラルネットワークが表情や動きをあらゆる角度から音や筋肉の変形にマッピングできるよう、できるだけ多くの情報（マグジーとソシオプティコンは毎秒180ギガバイトのデータを収集します）を収集することです。収集する情報が多いほど、「ディープ・アピアランス・モデル」は強化され、その情報をデータとしてエンコードするトレーニングがより効果的に行えます。そして、それを別の人のヘッドセットでアバターとしてデコードするのです。インターネット黎明期に動画圧縮の難題に苦労した人なら誰でもご存知でしょうが、コーデック・アバターの「コーデック」は、コーダーとデコーダーを組み合わせた造語です。

単なる生の測定値ではない。研究科学者のジェイソン・サラギ氏が言うように、データは解釈が必要だ。一般ユーザーは、結局のところ、マグジーやソシオプティコンをリビングルームに置くことはないだろう。彼らが持っているのはVRやARのヘッドセットだけだ。今日のVRウェアラブル機器はヘッドマウントディスプレイとして知られているが、FRLの研究者たちはヘッドマウントキャプチャシステム（HMC）の製品ラインを開発している。社内ではArgentと呼ばれているこれらのHMCは、赤外線LEDとカメラを顔の様々な部位に向け、ソフトウェアがそれらを人物の顔に再構成する。

シェイク氏と彼のチームは近い将来、顔のスキャンを全身に拡張したいと考えている。そのため、ソフトウェアはサラギ氏が「外在的要因」と呼ぶ、バーチャルなインタラクションのリアルさを損なう可能性のある要因を回避できる必要がある。例えば、あなたがいる場所が暗い場合、システムはそれを補正する必要がある。また、あなたが手を背中の後ろで動かした場合、システムはそれを考慮に入れる必要がある。そうすれば、（VR内で）友人があなたの後ろを歩いているときに、あなたの手の動きがわかるようになる。他にも、アバターの動きを可能な限り滑らかに保つためにあなたの動きを予測するといった機能もあるが、これらはすべて変数を排除し、アバターをあなた自身のありのままの、純粋な表現にすることを目指している。

人間を動かすのは難しい。それが真実だ。超大作のビデオゲームでさえ、髪の毛、目、口の中といった部分に苦労している。そして、一歩間違えれば不気味の谷に直結してしまう。不気味の谷とは、人間に似ているようで人間とはかけ離れたものを見た時に感じる、内臓的な不快感のことだ。キャプチャー作業の経験を積んだ後、ヘッドセットを装着してシェイク氏と研究者のスティーブ・ロンバルディ氏とライブチャットをすることになったが、バーチャル空間の現実も同じ罠に陥るだろうと覚悟していた。

いいえ。シェイクのアバターには、彼が実生活でかけているようなあごひげやフクロウのような丸い眼鏡は付いていません（明らかに、正しく写すのが難しいので、彼はそれらなしでキャプチャしました）。でも、それが彼なのです。あまりにも彼に似ているので、彼が私に身を乗り出して彼の顔の無精ひげをよく見るように誘ったとき、そうすることが信じられないほど侵入的に感じられました。あまりにもスティーブ・ロンバルディなので、後で彼が実際に部屋に入ってきたとき、私はすでに彼を知っているように感じました ― 実際に会ったことがないのに。結果は完璧ではありません。人々が興奮して話しているとき、アバターの口はその人の口調から想像されるほどには動きません。髪の毛は一本一本見えますが、その周りにぼんやりとしたオーラがあります。舌は少しぼやけて見えます。しかし、全体的な効果は圧倒的に、これはあり得ない、というようなものです。

それは素晴らしい体験ですが、同時に不安も伴います。コーデックアバターはまだ研究段階の段階ですが、私たちは不確かな時代にそれらについて学んでいます。ディープフェイク、何もないところから顔を作り出すほど強力なAI、データプライバシー、誤情報キャンペーン、有害な行動などは、現実のインターネット上で非常に現実的な問題となっています。そして、これらの問題の中心となってきたソーシャルメディア企業の資金提供を受け、VRとARが人類の主要なコミュニケーションプラットフォームへと発展し始めるにつれ、これらの問題はさらに深刻化するでしょう。オンラインでのハラスメントは悪いことだと思っていたでしょう？実体感とパーソナルスペースが加わるVRが、ハラスメントをさらに本能的に不快なものにすると思っていたでしょう？まだ何も見ていないのです。

シェイク氏はその懸念を理解している。「真正性は、この成功だけでなく、ユーザーを守る上でも極めて重要です」と彼は言う。「母親から電話がかかってきて、彼女の声が聞こえたら、彼女が言っていることが自分が聞いている言葉だと、ほんの少しも疑う余地はありませんよね？私たちは最初からその信頼を築き、維持しなければなりません」。シェイク氏は、HMCに搭載されたセンサーが認証の重要な手段だと指摘する。私たちの目、声、そして仕草さえも、ある種の生体認証なのだ。（これは確かに、ある懸念を和らげる一方で、別の懸念を強めることもある。）データプライバシーとVRをめぐる議論はここ数年でますます活発になっているが、今回のような画期的な進歩は、その議論をさらに激化させる可能性がある。

VRは過去10年間で大きく進歩してきたが、コーデック・アバターのような技術は、全く新しい体験の段階への移行を象徴している。そして、それを実際に体験した社内の人間はそれをよく知っている。毎年開催されるOculus Connect開発者会議では、マイケル・アブラッシュ氏が壇上に上がり、同社の研究所における研究とイノベーションの進捗状況について概説する。時が経つにつれ、彼はVRにおけるいくつかのブレークスルーには強気な見方を、他のブレークスルーには弱気な見方をするようになってきた。しかし、昨年10月、彼のいつもの熊のような態度に角が生え始めた。「4年以内に人間そっくりのアバターが登場するとは思っていないが、もう期待していない」と彼は言った。

今、ヤセル・シェイクと一緒に座りながら、私は彼に、当時アブラッシュの宣言についてどう感じていたか尋ねた。

「彼の言う通りだ」と彼は微笑みながらコーヒーをすすりながら言った。

WIREDのその他の素晴らしい記事