DynascoreのAI音楽エンジンがあなたの動画に合わせたトラックを作成します

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

最近Zoomで行われたデモで、音楽作曲アプリDynascoreが1分足らずで短編動画の感情的な雰囲気を何度も変化させる様子を目の当たりにしました。しかも、映像は1フレームも変えずに。私の短い説明では、非常にシリアスなサウンドトラックの、非常にシリアスなワークアウト広告（ゲータレードのロゴの後ろでアスリートの頭からネオンカラーの汗が噴き出すようなもの）として始まりましたが、すぐに少し面白い雰囲気に変化しました。Dynascoreの機械学習エンジンがアクション映画のテーマ曲をベートーベンの重々しい「月光」に差し替え、動画は突如ダークコメディへと変貌を遂げたのです。

Zoomウィンドウの反対側でマウスを数回タップし、数秒レンダリングすると、同じ動画に現代的なポップソングが重ねられた映像が映し出され、画面上の迫力あるクローズアップに見事にマッチした。今度は、まるでミュージックビデオのような仕上がりだった。

有料クライアント向けでも、自分のYouTubeチャンネル向けでも、動画制作の経験があるなら、きっと今頃ヨダレが出ているでしょう。動画制作者なら誰でも、ストックミュージック（オンラインライブラリから購入した、既成の、多くの場合セリフのないジングル）が、まるで借り物のスーツのようにぴったり合うことを知っているはずです。しかし、動画のリズムや長さに合わせて、よく知られた曲を何時間もかけて編集するしか選択肢がなかったため、多くの動画編集者は、ネット上の既成の音声を選ぶという安易な選択肢に甘んじてきました。

「信じられないくらいすごい」と、リリース前に何ヶ月もかけてこのソフトウェアをテストしたプロのビデオグラファー、ジョセフ・ディジョバンナ氏は言う。「実のところ、競争の場は100%平等になったんです」と彼は言う。「携帯電話を持っている若者が、私と同じヴォーグ社での仕事に就くことになるんです」

ソーシャルディスタンスレモネード

2020年が計画通りに進んでいたら、Dynascoreは存在しなかったでしょう。ニューヨークのミュージシャン、グレッグ・ジャレットと、当時Uber AI Labsの研究員だったユヌス・サーチにとって残念なことに、ブロードウェイの劇場が閉鎖されたのとほぼ同時期に、人々はライドシェアの利用を一斉にやめてしまいました。二人にとって、そしてDynascoreの開発に携わるチームの多くのメンバーにとって、コロナ禍の生活は瞬く間に、本格的な不確実性へと転化しました。

記事画像

超スマートなアルゴリズムがすべての仕事をこなせるわけではありませんが、これまで以上に速く学習し、医療診断から広告の提供まであらゆることを行っています。

ウーバーはサーチ氏が勤務していた業界トップのAI部門を閉鎖し、ジャレット氏が音楽監督として手掛けていたオフブロードウェイのショーは無期限の休止となった。

「火曜日には帰ってくると思って週末に出発したんだ」と彼は言う。「それから2週間。そして4週間。そして6ヶ月。」

サーチ氏はUber在籍中に作曲家のピーター・ラーマン氏と出会ったおかげで、すぐに新しい仕事を見つけることができました。ピーター氏の弟であるハワード氏は、AIを活用した検索プラットフォーム「Yext」を設立したテック起業家です。AIベースの音楽ツールのアイデアがきっかけで、サーチ氏はYextの創業者が支援する新会社「Wonder Inventions」に就職しました。

曲を作曲するミュージシャンを見つけるのに、それほど苦労はなかった。ピーターはニューヨークの音楽界と深いつながりを持っていたし、ジャレットのような人たちは時間をつぶす何かを必要としていたのだ。

ジャレットと、一時帰休中のブロードウェイの作曲家、編曲家、オーケストレーターからなる少人数のグループに楽曲制作を依頼したことで、Dynascoreの技術チームは社内人材という点でまさに理想的な状況に陥りました。視覚的なドラマを喚起する楽曲を作曲するのに、毎晩報酬を得て仕事をしている彼ら以上に適任な人材はいるでしょうか？

人間の問題

Dynascoreの究極の成功の鍵は、人間の作曲家の優れた耳にあります。サーチ氏によると、AIベース、つまり「アルゴリズム作曲」の音楽におけるこれまでの問題点は、既に作曲された楽曲を再解釈するのではなく、ソフトウェア楽器にゼロから作曲を教えようとする点にありました。

「人々の心に響く音楽を作るのは人間の課題です。ですから、まずは人間から始めなければなりません」とサーチ氏は言う。「AIは人間にとってのスーパーチャージャーなのです。」

動画に音楽を完璧にフィットさせるのは、既存の曲を予測通りに切り刻むほど単純ではありません。有機的なトランジションを実現するには、キー、リズム、強弱といった音楽的特徴をより深く理解する必要があります。そのため、モルフォンは曲のスピードやキーを示すだけでなく、様々な音色や音楽的特徴も示します。これらの特徴全てによって、AIはどの種類の音楽用レゴブロックがどのように組み合わさるかを認識できるのです。

モルフォンシステムを開発した後、チームはAIに楽曲を与え、再構成させました。AIが適切な楽曲を選択できるほど音楽的リテラシーを身につけるまでには、しばらく時間がかかりました。

「AIが曲を作曲すると、演奏家たちは『下手だった』と言うんです」とサーチ氏は、テストの単純さに笑いながら語る。「AIはフィードバックを得て学習し、突如として一貫性のある曲を作曲できるようになるんです」

AIはすぐに賢くなり、トランジション、フェード、ブレイクなど、ユーザーが指示したタイミングシフトを各楽曲に組み込めるようになりました。こうして、私が「月光ソナタ」を再構築するのを目撃したDynascoreのバージョンが誕生したのです。

負担を軽減

Dynascore の成果は、これまで煩雑だったワークフローを劇的に改善するものです。

「編集者や映画製作者として働いていると、フレームごとに音楽を調整する必要があるため、音楽に多くの時間を費やします」と、長編映画からテレビ広告まであらゆる作品を手がけてきたディジョバンナ氏は言います。「Dynascore を使えば、即座にそれを行うことができます。」

Dynascore がシーンの遷移を処理する方法のデモをご覧ください。

ダイナミックな音楽作曲を可能にするツールは、商業プロジェクトで特定のアイテムを後からカットする必要が生じる可能性がある場合に特に役立ちます。ディジョヴァンナ氏は、自分が制作した広告からハンドバッグを削除したい監督の例を挙げています。

「ビデオを 5 秒間削除しないと、曲のエンディングが機能せず、次の曲への移行も機能しません」と彼は言います。「そんなときに Dynascore が大いに時間を節約してくれるのです。」

新しいソフトウェアは、他の多くの新製品では得られない贅沢、つまり時間という恩恵を彼に与えてくれる。現実的にどれくらい節約できるか尋ねると、彼は熱心に答えた。「何時間も、時には丸一日も」

新たなダイナミクス

Dynascoreを初めて使った時、同じ動画に複数の異なる楽曲を重ねた時の結果の違いを実感しました。クラシック音楽からヒップホップ、フォークソングまで、数分でワークアウト広告の3つの異なるバージョンをレンダリングし、それぞれが動画にぴったり合うように表示できました。

以前はストックミュージックを選ばなければならず、曲もぴったりとは合いませんでした。サウンドがオーダーメイドなので、それぞれの動画がよりプロフェッショナルな印象を与え、ストックミュージックサイトのデモのような印象から解放されます。

「音楽が、観ているものに対する気持ちをこれほど変えることができるなんて、信じられません」と作曲家のジャレット氏は言う。「何かを作っていて、『こんなこともできるなんて、誰が想像しただろう？』と思うこともあるんです」

一度購入すればどこでも使える

人工知能エンジンが音楽を組み立てているという事実は、例えばDynascore社内の作曲家が作曲した曲がスーパーボウルのCMや大ヒット映画の予告編に使われた場合、どのように報酬が支払われるのかという疑問を提起します。通常、このような大規模プロジェクトは作曲家に多額の報酬をもたらします。Dynascoreの幹部は、これらの問題が発生するたびに検討していくと述べています。当面は、予算規模の大きいプロジェクトでは引き続き人間の作曲家が使用される可能性が高いでしょうが、Instagram、TikTok、YouTubeに見られるような動画にAIがますます関与していくことは容易に想像できます。

実際、無制限のグローバルライセンスは、少なくとも提供される音楽のプラットフォーム非依存という点では、ソフトウェアを成功に導く重要な要素です。

単一のグローバルライセンスを永続的に所有することで、いつでもどこでも Dynascore の曲を使用することができます。

「一般的に、アメリカの作曲家と取引していて、パブリックドメインの曲を扱っている場合は、必要な権利をすべて買い取ることができるはずです」と、ライセンスに関する最も象徴的な書籍の1つである『音楽ビジネスについて知るすべて』の著者であり、業界の専門家で弁護士のドナルド・S・パスマン氏は述べている。

調和のとれた

サーチ氏は、AIにどの程度のクオリティを求めるか明確な考えを持っている。「リスナーとしての私の基準は、機械が作ったのかスタジオで録音されたのか区別がつかないことです」と彼は言う。少なくとも私が見聞きした限りでは、Dynascoreはその基準を満たしている。

楽曲のクオリティとプラグインの手頃な価格（現在、無制限トラックで月額19ドル）を考えると、よりカスタマイズされた音楽体験を求めるクリエイターの間でDynascoreが普及しないはずがありません。同社はまた、サードパーティのソフトウェア開発者が自社のアプリでDynascoreの音楽エンジンを利用できるようにするためのツールセットである開発者APIもリリースしており、Adobeサブスクリプションを持っていない人にとってコンテンツ制作がさらに容易になります。

実際に自身の動画に音楽を作曲できるほどの音楽的才能を持つディジョヴァンナ氏でさえ、Dynascoreをメディアの創造性の限界を打ち破るツールだと考えている。「まるで天国のようだ」と彼は言う。

WIREDのその他の素晴らしい記事