AndroidはAIを活用してスマートフォンのクローズドキャプションをアップグレード

字幕付きの映画を見たことがあれば、画面下部に[拍手]や[劇中の音楽]がポップアップ表示されるのを見たことがあるでしょう。これは、聴覚に障がいのある方や難聴の方でも、シーンの展開を形作るセリフ以外の音声要素を理解しやすくするためのものです。GoogleはAndroidモバイルOSに同様の機能を導入しており、当然ながらAIを活用しています。これは、本日AndroidおよびGoogle Pixelデバイスに搭載される数多くの新機能の一つです。

Expressive Captions は、Google の既存の Live Caption 機能の一部である新しいツールです。この機能を使用すると、どのアプリを使用していても、携帯電話で再生されるほぼすべてのメディアに字幕を付けることができます (品質は異なりますが、さまざまな言語に翻訳することもできます)。この新しい追加機能により、トーンや音声以外の要素にも字幕を付けることができるため、範囲が広がります。

スポーツ解説者がタッチダウンを決めた時など、動画内で誰かが叫ぶと、その興奮を強調するために字幕がすべて大文字で表示されるようになりました。大きなため息をついたり、息を呑んだりした場合は、それぞれ[ため息]または[息を呑む]と表示されます。拍手や歓声などの環境音も表示されます。

これらの字幕は、クラウドではなく、スマートフォン本体で動作するAIソフトウェアによって生成されます。Googleによると、ライブキャプションはAndroidに組み込まれており、「デバイス上」で実行されるため、新しいExpressive Captions機能は、一度有効にすると、ビデオ通話を含むあらゆるアプリで同様に機能します。字幕はリアルタイムで表示されます（ただし、多少の遅延が発生する場合が多いです）。また、スマートフォンが機内モードになっている場合でも表示されます。この機能は、Android 14を搭載したライブキャプション機能搭載のAndroidスマートフォンで展開されます。

AI を活用した文字起こし機能は、スマートフォンで急速に普及しつつあります。多くの新しいデバイスは、大規模な言語モデルを活用して音声をテキストに変換しています。たとえば、電話の通話を書き起こすことができる Samsung の Galaxy S24 シリーズや、通話だけでなく、ボイスメモやメモアプリの録音を書き起こすことができる iPhone 16 の Apple Intelligence などが挙げられます。

Android アップデート

Expressive Captionsは、Googleが発表したAndroidの新機能の一つです。Lookoutアプリには、視覚障碍者や弱視の方向けのアクセシビリティ機能がもう1つ追加されます。アプリ内の画像Q&A機能では、ユーザーが写真をアップロードまたは撮影すると、AIが生成した説明が表示されますが、この機能にはGoogleのより高度なGemini 1.5 Pro大規模言語モデルが採用されています。これは、より豊富な説明を提供するアップグレードと捉えてください。さらに、画像についてさらに詳しく知るために、引き続き質問をすることも可能です。

Googleのチャットボット「Gemini」は、サードパーティ製アプリとの新たな連携により、Android端末での利用度が高まっています。最新の機能はSpotify拡張機能で、お気に入りの曲を再生したり、気分に合わせて新しいプレイリストを探したりといった操作が可能です。Googleによると、Geminiはスマートフォンのデフォルトアプリから通話やメッセージの送信、さらにはカメラを操作して自撮り写真を撮ることも可能です。まもなく、Geminiはスマートホームデバイスも操作できるようになります（現在は、スマートホーム関連の操作リクエストの多くはGoogleアシスタントに委ねられています）。

これらの新機能のいくつかは、以前 Google アシスタント (RIP?) で実行できたので、聞き覚えがあるかもしれませんが、Gemini は自然な会話を理解する能力に優れているため、リクエストをするときに言葉にこだわる必要はありません。

Androidのその他のアップグレードには、ドキュメント処理におけるコントラストとホワイトバランスの改善によりGoogleドライブでスキャンしたドキュメントの見栄えが向上したことや、AppleのAirDropに相当するGoogle版のクイックシェアによる共有の容易化などがあります。QRコードで画像や動画を簡単に共有できるため、相手を連絡先に登録したり、アプリの共有設定をいじったりする必要はありません。

Geminiの最も注目すべき機能強化の一つは「Geminiに保存された情報」です。これは、Geminiに自分の特定の情報を記憶させ、より自分に合った検索結果を生成できるようにする機能です。例えば、あなたがビーガンでレシピを探すように指示すると、Geminiはあなたがビーガンであることを記憶し、クエリで詳細を指定しなくてもビーガン向けのレシピのみを表示します。

「Gemini で保存された情報」は、すべての Android スマートフォンと Web 上の Gemini に展開されます。

Pixelスマートフォンのアップデート

本日発表される他の多くの新機能は、Google の Pixel スマートフォンに特化して展開されますが、その一部は将来的に、より広範な Android エコシステムに導入される可能性があります。

Pixelスマートフォンの主要機能の一部に、使い勝手を向上させるアップデートが行われました。通話スクリーニングは、ロボコールやテレマーケティング業者による電話の着信をスクリーニングするGoogleのシステムです。このシステムでは、スクリーニング中にタップで返信候補が表示されるようになりました。例えば、会議中に配達員から電話がかかってきた場合、電話に出ずに画面を数回タップするだけで返信できます。また、Googleのスクリーニング担当者と発信者とのリアルタイムの会話を確認し、いつでも引き継ぐことができます。この機能はPixel 6以降で利用可能ですが、返信候補はPixel 9シリーズ限定です。

録音内容をリアルタイムで文字起こしするGoogleのレコーダーアプリに、「Clear Voice」機能が追加されました。この機能をオンにすると、キーボードのタイピング音や、騒がしい環境で会話を録音していた場合に路上で鳴り響くクラクションなど、音声から不要なノイズをカットできます。Googleは音声のクリーンアップを得意としており、Pixel Buds Pro 2ワイヤレスイヤホンやPixelスマートフォンでは「Clear Calling」と呼ばれる同様の技術を使用して背景音を低減しています。また、録画した動画から不要な音を消去できる「Audio Magic Eraser」も搭載しています。

Pixel 2で初めて搭載されたオリジナル機能の一つである「再生中」機能を使うと、周囲で流れている音楽をロック画面ですぐに確認できるので、わざわざ調べる必要がありません。この機能はさらに多くの曲とアーティストを認識できるようになり、設定メニューの「再生中」履歴にはアルバムアートも表示されます。

最後に、もし誰かがあなたのスマートフォンを盗んだ場合、「Identity Check」と呼ばれるベータ版機能が、あなたのスマートフォンが新しい場所にあることを認識します。これにより、窃盗犯は必然的に機密設定（パスコードの変更など）にアクセスしようとする際に、生体認証を提供する必要があります。Identity Checkは、Googleが最近Android 15で導入したいくつかの新しい盗難防止機能の1つです。

他にも、大きなフォント、大きなタッチターゲット、そしてタッチスクリーンの感度が向上した新しいユーザーインターフェース「シンプルビュー」など、細かなアップデートが多数あります。また、Googleの「サークルで検索」機能を使ってスクリーンショットを保存できるようになり、保存したスクリーンショットはGoogle Walletに保存できます。Google Pixel Studioアプリで誰かの顔のステッカーを作成した場合、Gboardキーボードアプリでそのステッカーにアクセスできるようになりました。詳しくはこちらをご覧ください。

その他のピクセルアップデート

以前のPixel WatchやFitbitをお持ちですか？Googleが新しい「Daily Readiness」アルゴリズムと、Pixel Watch 3で初めて導入された「Cardio Load（有酸素運動負荷）」や「Target Load（目標負荷）」などのツールを、以前のデバイスにも移植することをお知らせします。対象となるのは、最初の2つのPixel Watch、Fitbit SenseとSense 2、Versa 2から4、Charge 5と6、Inspire 2と3、そしてLuxeです。

Pixel Watch 3 では特に、着用者の心拍が停止したことを検出するまったく新しい Loss of Pulse 機能が導入されました。この機能は米国ではまだ利用できませんが、ドイツとポルトガルに拡大され、利用可能な国は合計 14 か国になりました。

後継機が出ないかもしれないという噂もあるPixelタブレットについては、所有者はGoogleが自社開発した仮想プライベートネットワーク（VPN）を利用できるようになった。これはPixelスマートフォンに組み込まれているVPNと同じもので、公衆Wi-Fiネットワーク経由でインターネットデータを暗号化するようになっている。