独占：Googleが機械学習を使ってサッカーの動きを分析する方法

Jacquardはデニムジャケットに搭載されたセンサーから始まりました。袖に特殊織りを施した布地に触れることで、着用者はスマートフォンの操作を操作できるのです。手のひらを袖の上へスワイプすれば音楽のトラックを変えられ、下へスワイプすればUberを呼ぶことができます。自転車に乗っているときにダブルタップすれば、ヘッドホンに到着予定時刻が通知されます。

しかし、Googleのウェアラブルセンサー技術は、タップやスワイプといった単純な動作にとどまらず進化を続けています。Jacquardセンサー「Tag」は、靴のインソールに装着できるようになり、一連の身体動作を自動的に認識します。最初の実装では、蹴る、走る、止まる、そして再び加速するといった、フットボール（アメリカではサッカーと呼ばれます）のプレー中に人が行う典型的な動作を追跡します。

これは、Jacquardの開発元であるGoogleの先端技術・プロジェクト（ATAP）チームによる、アンビエントコンピューティングへの最新の取り組みです。私はチームに、Tagの新しい仕組みや、周囲のコンピューターが私たちの存在を感知し、私たちが求める前に必要なものを提供してくれるようになると、世界はどうなるのかについて話を聞きました。

ジャケットから靴まで

Jacquardは、2015年のGoogle開発者会議で発表された実験的なプロジェクトでした。2年後、チームはこの技術をリーバイスのデニムジャケットに初めて搭載しました。タグはコンピューターで、ジャケットの袖で最大3つのタッチジェスチャーをスマートフォンでカスタマイズ可能な操作に変換します。自転車やスクーターで通勤していて、走行中にスマートフォンを取り出せない人にとって理想的な機能です。

2019年に時が進み、GoogleはJacquard 2.0を発表しました。これは、リーバイスのジーンズジャケット（より低価格のものも含む）のより多くのスタイルや、イヴ・サンローランのバックパックに装着できる小型タグです。この同じタグは、アディダス製の40ドルのインソール「GMR」（「ゲーマー」と発音）にも装着可能で、アディダス製に限らず、どんなサッカーシューズにも装着できます。

これらはすべて、AndroidとiOS向けのEA SportsのFIFA Mobileアプリと連携しています。仮想FIFA Mobile Ultimate Teamのレーティングを上げるには、ゲームをプレイするか、ゲーム内ブーストに実際のお金を使うか、あるいはGMRインソールとタグを使って現実世界でプレイするかを選択できます。1週間で40本のパワフルシュートを決めるなど、特定の目標を達成することで、仮想ゲーム内でコインとスキルブーストを獲得できます。現実世界で達成した実績が多ければ多いほど、仮想チームはより強くなります。

ゲームであれアートプロジェクトであれ、現実世界とデジタル世界の融合は人気を集めているアイデアです。AR（拡張現実）要素を備えたおもちゃを見ればそれが分かります。しかし、ほとんどのARシステムとは異なり、このタグはカメラを使って周囲の状況を分析するわけではありません。機械学習を用いて、ジーンズジャケットの上での手のジェスチャーを認識するよりもはるかに高度なレベルで、装着者の足や体の動きを認識します。

「Jacquardはもはや、生地や糸、そして袖を通した接続性だけにとどまりません」と、GoogleのJacquardプロダクトマネージャー、ダン・ジャイルズは語る。「ユーザーにとって馴染みのある、そして身の回りの物に馴染みのある、新しい方法でアンビエントコンピューティングを提供することが真の目的なのです。」

動きを分析する

GMRインソールを購入すると、インサート（左右の靴に1つずつ）とジャカードタグが1つ付いてきます。これは、リーバイスの新しいジャケットやイヴ・サンローラン（YSL）のバックパックに付属しているタグと同じものです。タグを装着する靴を選び、もう片方の靴にはダミータグを装着してバランス感覚を確かめることができます。電子機器とFIFAゲームをペアリングしたら、スパイクを履いてフィールドへ出発。走り回っている間、スマートフォンを近くに置いてはいけません。タグはデバイス上で機械学習アルゴリズムをローカルに実行します。

このタグは、ピッチまでの歩行を追跡する必要がないことを理解するほど賢い。代わりに、タグは、あなたがサッカー特有の動きを積極的に行っていることを検知した時にのみ、そのコンピューティング能力の大部分を使い始める。タグはどのようにしてこれらの動きを把握するのだろうか？タグには、加速度と回転角を測定できるセンサーと、パターン認識を学習させたアルゴリズムプログラムであるニューラルネットワークを実行できるマイクロコントローラーが搭載されている。

「タグから送られてくるセンサーデータを取得し、その動きに基づいて解釈できる、一連の新しい機械学習アルゴリズムを構築する必要がありました」と、Google ATAPの主任機械学習エンジニアであるニコラス・ジリアン氏は語る。

パターンを観察することで多くのことを学ぶことができます。例えば、ランナーのデータはトレーニング中ずっと安定していて、非常に周期的に見えます。一方、サッカー選手のデータははるかに不規則で、突然のスパートや素早いターン、そしてほとんど動きがない瞬間が混在しています。ジリアン氏によると、Googleはアディダス、EA、そしてサッカーの専門家と協力し、様々な状況（トレーニング中や実際の試合中など）でプレーする人々からデータを収集しました。そして、そのデータを用いて、複雑なサッカーの動きを理解するための数千ものニューラルネットワークを訓練しました。データは匿名化されているため、特定のユーザーに関連付けられることはなく、ハードウェアにはGPSや位置情報追跡機能は搭載されていません。

ニューラルネットワークは非常によく訓練されているため、タグはプレイヤーが急旋回した時、ボールを蹴った時、走った距離、最高速度、パスかシュートか、キックの強さなどを認識できます。さらには、蹴った後のボールの速度を推定することも可能です。これらはすべて、プレイヤーの動きに合わせてリアルタイムで行われます。

ジリアン氏は、これらの機械学習モデルはギガバイト単位のサイズになることが多いと指摘した。ATAPチームは、コードを数キロバイトにまで縮小し、タグ上で実行できるようにした。これは、GoogleがGoogleアシスタントのアルゴリズムを縮小し、Pixelスマートフォン上でローカルに実行できるようにした方法と似ている。

しかし、FIFAアプリの場合、プレイヤーは目標達成の進捗状況を確認するために、スマートフォンに戻り、データがゲームに送信されるのを待つ必要があります。普通にサッカーをプレイすることも、ゲーム内で仮想チームを成長させるために必要なゴールを達成することを目指すこともできます。Googleチームは、様々なレベルのプレイヤーからデータを収集するように細心の注意を払っているため、あなたがエキスパートかアマチュアかは関係ありません。

「違うやり方でサッカーをしろと言っているわけではありません」とジャイルズは言った。「いつも通りのやり方でサッカーをすればいいんです」

コンピューティングの次の波

Googleは、テクノロジーが周囲の環境にシームレスに統合されるアンビエントコンピューティングの未来へと徐々に移行しつつあります。最新のPixelスマートフォンには、手のジェスチャーを認識できるセンサーが搭載されており、スマートフォンに触れたり音声コマンドを発したりすることなく、スマートフォンの上で手をかざすだけで音楽のトラックを変更したり、再生・一時停止したりできます。また、事故発生時の状況を機械学習アルゴリズムで学習し、所有者が自動車事故に遭ったかどうかを検知するセンサーも搭載されています。応答がない場合、緊急サービスに通報します。

「モーションベースのコントロールという方向性は確かにあると思います」とジャイルズは語る。「アンビエントコンピューティングのビジョン、つまりスマートフォンやノートパソコンから取り出し、ユーザーにとってより自然なインタラクションを実現する領域へと移行させるというものです。アンビエントコンピューティングを、私たちが使っている製品に完全に統合し、隠してしまうというアイデアは、私たちにとって非常に魅力的です。あからさまに存在するのではなく、ただそこに存在し、自然でインタラクティブな方法で価値を付加し、ユーザーがその存在に気づかないほどに感じられるようにするべきです。」

JacquardはGoogleのアンビエントコンピューティング・プラットフォームの一翼を担うに過ぎませんが、このビジョンを他のどのプラットフォームよりもはるかに明確に実現しています。ジャイルズ氏によると、チームがサッカーから着手したのは、試合の動きのほとんどが足の動きだけで理解できるためですが、この技術は他の幅広い用途にも拡張できるとのことです。

「リストバンドに装着しても、ヘッドバンドに装着しても、モデルとプラットフォームは同じです」とジャイルズ氏は言う。

WIREDのその他の素晴らしい記事