このAIマエストロはあなたにセレナーデを歌いたい

フィリップ・シェパードは、チェロ・ソロアルバムの録音、60曲以上のサウンドトラックの作曲、そしてオリンピックのメダル式典のための206曲の国歌の編曲を手掛けてきました。彼はかの有名なアビー・ロード・スタジオを隅々まで熟知しています。彼の仕事は音楽制作のプロセスですが、時にはただ音楽を聴きたくなる時もあります。できれば森の中を歩きながら。

2016年のある日、散歩に出かけた時、彼はどんな音楽を聴くか悩むのが億劫だった。代わりに、イヤホンから流れる魔法のような伴奏を想像した。それは周囲の環境や気分をダイナミックに映し出し、まさに散歩のBGMとなる。木々の間から太陽が差し込む瞬間に、バイオリンがビブラートを効かせて高らかに響くかもしれない。フルートが小鳥のさえずりに合わせてさえずるかもしれない。

「プレイリストから何かを選ぶのではなく、音楽が私に合わせてくれるというのは、確かにあり得ることだと思うんです」と彼は言う。「それに、方向を変えたり、日が沈んだりしたら、音楽も変わってくれると嬉しいですよね」

これを実現するには、システムは音、視覚、生体情報、速度、気象情報といった複数の入力を処理できるだけでなく、それらの入力を音楽的に変化させ、まとまりのある楽曲に仕上げられるほど十分に音楽を理解する必要がありました。シェパード氏は、これを実現する手段（基本的には、潜在的な入力によって楽譜がどのように変化するかを注釈として記す）を概説しようと試みましたが、このアイデアを実際に実現するには、人工知能の専門家が必要でした。

幸運なことに、シェパードは完璧な候補者を知っていた。Siriの共同開発者であり、後にAppleのAI担当幹部の一人となったトム・グルーバーだ。グルーバーは「人間中心のAI」と題したTEDトークで、人間と機械の協働を訴えたこともある。二人は2010年にモントレーで開催されたカンファレンスで出会い、友人になった。そこで2017年、シェパードはサンタクルーズの海岸を音楽なしで散歩している時に、グルーバーにこのアイデアを売り込んだ。二人は新会社のCEOとCTOに就任した（グルーバーは2018年にAppleを退社した）。

3年後、LifeScoreが誕生しました。LifeScoreは、音楽を委託し、一流アーティストとレコーディングを行い、ビデオゲームから自動車メーカーまで幅広い企業にライセンス供与しています。リスナーは、これらのスコアをリアルタイムでリミックスした、独自の組み合わせを聴くことができます。サウンドトラックの作曲家が台本に合わせて作業を進めるのに対し、LifeScoreの楽曲はAI指揮者が指揮します。AIは、アルペジオやピアニッシモをリスナーの体験に合わせてリアルタイムで調整し、作曲家が想像もしなかったようなフレーズや楽器の組み合わせを組み替えることも少なくありません。

同社の公式デビューは今週木曜日。Twitchプラットフォームで配信されている脚本付き実写シリーズ「Artificial」の新シーズンに合わせて、LifeScoreのサウンドトラックがリリースされます。 「Artificial」はライブ配信され、「自分の冒険を選ぶ」スタイルのストーリー展開で、視聴者の反応によって物語が展開していきます。LifeScoreでは、視聴者の反応が音楽にも反映されます。

しかし、それは同社の究極の目標、つまり意味のある音楽体験の提供への序章に過ぎない。シェパード氏によると、作曲家として最も大きな喜びを感じるのは、これまで頭の中と音符の中にしか存在しなかった楽譜が、ミュージシャンによって音へと変化した時だという。「クリエイターとして、鳥肌が立つ瞬間です」と彼は言う。今、彼はそれを人々の日常生活の中で提供したいと考えている。「できれば、誰かが音楽を聴くたびに、そんな感覚が味わえるようにしたいんです」と彼は言う。「そうすれば、まるで自分が作曲家になったかのような喜びを味わえるんです」（もっとも、「作曲」は、脈拍数など、従来は創造的ではないと思われていたものから生まれるかもしれないが）。

しかし、これらはすべて、もうひとりの無名の協力者、AIなしには実現できない。グルーバーと彼の小さなエンジニアチームは、入力を受け付け、音色、テンポ、楽器編成を変えながら、まるで最初からそのように作曲されたかのように聞こえる、楽曲をリアルタイムで再構築するエンジンの開発を任された。LifeScoreエンジンに、いかにしてマエストロになるかを教え込む必要があった。「そこには音楽学があり、その背後には理論があるのです」と彼は言う。

「奇妙に思えるかもしれません」とシェパードは言う。「しかし同時に、実現可能なのです。」

では、 LifeScoreはどのようにそれを実現するのでしょうか？他の音楽と同様に、LifeScoreも人間の創造者から始まります。シェパード氏とグルーバー氏は共に、過去の試みのように楽譜自体を作成するアルゴリズムは求めていないと断言しています。「私のキャリアはずっと、自動化ではなく拡張しようという考えで進んできました」とグルーバー氏は言います。「世界にはたくさんの音楽があり、たくさんのミュージシャンがいます。しかし、私たちには、ユーザーが自分の音楽と対話し、創造を手伝ってくれるような体験がありません。」

LifeScoreテーマの作曲家は、自分たちが作家ではなく、AIエンジンとリスナー自身の入力によって動かされる基盤を創造する共同制作者であることを理解する必要があります。これらのクリエイターは、自己完結的な交響曲やポップチューンを書いているのではなく、無限に組み合わせられる楽曲を書いています。シェパード氏は、これは音楽におけるレゴブロックのキットのようなものだと言います。楽器のグループは、特定の小節を単独で演奏することも、より精巧なオーケストレーションに組み込むこともできます。スタジオで数時間作曲した音楽が、重複することなく数千時間再生されることもあります。

シェパードはロンドンの自宅のリビングルームからZoomで完成品のデモンストレーションをしてくれた。背景には、彼のチェロがクッション付きの椅子に立てかけられているのが見える。彼はネオンイエローのドローストリングが付いたグレーのパーカーを着ている。森の散歩にぴったりな曲を弾き始めた。iPhoneから流れるネオクラシカルな音楽は軽快で高揚感がある。彼がiPhoneを左に振ると、ジャイロスコープからの情報に音楽が反応する。（現時点では、このシステムは生体認証情報を処理していないが、同社によれば、処理は「簡単に」なるという。）

「チェロが最高潮に達している。こんな風に演奏するように書かれたわけではない」と彼は言う。弦楽器が天に届くように、私たちはもう少し耳を傾ける。「こんな音楽は初めて聴いた」と作曲家は言う。

「アーティフィシャル」はLifeScoreのテストに最適な媒体です。このシリーズは、アンドロイドとその創造主を描いた『ピグマリオン』風の物語で、俳優陣が生出演し、視聴者からのフィードバックをストーリー展開に活かしています。新シーズンに新たな展開を求めていたエグゼクティブ・プロデューサーのバーニー・スーは、シェパードのLifeScoreデモに圧倒されたと語っています。

「ピーターと狼のように、それぞれのキャラクターには特定の音楽テーマがあります」とスーは説明する。チャットチャンネルで人々が明示的に表現する感情に基づいて、音楽テーマは幸せ、悲しみ、神秘的、そして激しいという4つの感情クラスの間で切り替わる。（この単刀直入な入力方法は、時間の経過とともにより洗練されていくだろう。最終的にはAIの認識能力が向上し、LifeScoreはシーンの画像、音、言語を解釈し、どの音楽的感情を表現すべきかを自ら理解できるようになるかもしれない。）これらの感情を音楽言語に変換する方法を理解しているAI（例えば、激しい瞬間には速度を落とすなど）は、それに応じて楽譜を変更する。そして、それぞれのカテゴリーには3段階の激しさレベルがあり、フィードバックを多く受け取ることで、音量や楽器の選択によって音楽のテンポを上げることができる。作曲家のように、AIエンジンはどのような音楽の文法が観客の感情を呼び起こすかを理解している。「観客を体験に引き込む、なんとエレガントで洗練された、そして非侵襲的な方法なのでしょう」とスーは言う。「ええ、まだエピソードは制作していませんが、とてもワクワクしています。」

LifeScoreのもう一つの大きなエンターテイメント分野はビデオゲームです。シェパード氏はこのジャンルのサウンドトラックを数多く作曲しており、スタジオでの数時間でほぼ無限のムードとメロディーを生み出すことができるLifeScoreの能力は、プレイヤーが仮想世界を探索する際にスコアの一部を無限にループさせるという現在のやり方よりも優れていると考えています。

法人顧客向けの聴覚空間の創造は、参入すべき大きな市場です。「企業は今、音楽を、製品として販売する環境の一部として捉えています」とグルーバー氏は言います。「だからこそ、私たちはまさにその分野に参入しているのです。」

このビジネスの祖先はMuzakだ。Muzakは、漠然とした人気曲の甘ったるいカバーバージョンを指す蔑称となり、エナジャイザーというよりは精神安定剤のような存在だ。Muzak社が2017年に社名をMood Mediaに変更したのは、おそらくそのためだろう。同社はライセンス業界の巨大企業であり、カスタム録音された曲を精巧にプログラムした数千ものプレイリストのうち、どれを使用している店舗の売上増加といった指標で成功を測っている。

LifeScoreはMood Musicと直接競合しているように見える。しかし、シェパード氏とグルーバー氏は、両製品は異なる世界に存在すると主張する。Muzakの体験は潜在意識に訴えるものであるのに対し、LifeScoreはアンビエントミュージックの世界を鳥肌モノに変えようとしている。シェパード氏は、かつて「ある堅物なビジネスマン」にデモを披露した時のことを熱く語る。携帯電話を動かすと独特の音楽が流れ、その人が号泣したというのだ。「とても素敵な体験だったし、彼もかなり恥ずかしかったと思う」と彼は言う。（ちなみに、私はデモの間ずっと涙を流していた。）

同社は、運転がLifeScoreの理想的なシナリオであると考えており、自動車メーカーと交渉中だと述べています。入力データには、速度、道路状況、天候、目的地までの距離などが含まれます。同社が参入を期待するもう一つの大きな市場はウェルネスで、心拍数などの生体情報が楽曲制作に役立っています。同社は既に、レゴブロックの音楽制作キットで、ヨガ、有酸素運動、瞑想に適した音楽を何時間も録音しています。同社は、生体情報と行動に関する膨大なデータセットを分析し、人々が音楽信号にどのように反応するかを研究しており、最終的にはLifeScoreが「リラックス度、身体活動レベル、精神集中度といった健康指標を最適化する」ように楽曲を適応させる方法を学習できるようになると述べています。

もう一つのシナリオは、もしオフィスに戻れるようになったら、雇用主がLifeScoreをアンビエントミュージックとしてオフィスに流すというものです。グルーバー氏によると、例えば、姿勢が悪くなったという情報を得た際に、音楽が私たちを元気づけてくれる可能性があるとのことです。生産性を高めるためのより露骨な手段とは異なり、LifeScoreのような刺激は歓迎されるだろうと彼は言います。「音楽であれば、単なる牛追い棒のようなフィードバックではなく、もっと人間味のあるものを活用できます」と彼は言います。しかし、現在オフィスでヘッドホンを使って音楽を聴いている何百万人もの人々は、これをあまり歓迎しないかもしれません。また、姿勢を記録するカメラやその他のセンサーも、必ずしも歓迎するとは限りません。

シェパードは、アビー・ロードで働き始めた頃は、ビートルズの亡霊が漂うスタジオ2を使っていたと語る（ジョージ・マーティンがバンドに提供したマイクは今も残っており、シェパードは機会があればいつでも使っていた）。また、巨大なスタジオ1にも足を踏み入れ、ある時は90人のミュージシャンを集めてビデオゲームのBGMを録音したこともある。「でも、実はスタジオ3に惚れ込んでしまったんです」と彼は言う。ピンク・フロイドが『狂気』をレコーディングしたのもスタジオ3だ。ミュージシャンたちはそこで『アーティフィシャル』のサウンドトラックを制作した。

数十年にわたりこれらのスタジオから生み出されてきた曲とは異なり、これらの曲はチャートを駆け上がることは決してないだろう。リビングルーム、車内、ヨガスタジオ、森の中でリスナーのスピーカーやヘッドホンに流れ込むまで、完成さえしないだろう。LifeScoreのAI拡張楽曲は、独自の方法でヒット曲となるだろうか？それは、鳥肌が立つような感動を与えてくれる場合だけだ。そして、オフィスの生産性を、親しみやすい形で向上させることも言うまでもない。

WIREDのその他の素晴らしい記事

• 中国のAI大手がチャットと監視を容易にした方法
• インターネットを救ったハッカー、マーカス・ハッチンズの告白
• 遠く離れていても一緒に歌うことを学ぶ
• 東京湾での27日間：ダイヤモンドプリンセス号で何が起こったのか
• 自宅で髪を切るためのヒントと道具
• 👁 AIがCOVID-19の潜在的な治療法を発見。さらに、最新のAIニュースもお届けします
• 🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください