オーディオのプロがヴィンテージトラックを「アップミックス」して新たな命を吹き込む方法

ジェームズ・クラークが2009年末、ロンドンの伝説的スタジオ、アビー・ロード・スタジオに赴任した当時、彼はオーディオエンジニアではなかった。ソフトウェアプログラマーとして雇われたのだ。入社して間もないある日、彼は1960年代から70年代にかけての音楽レコーディングのベテラン数名と昼食をとっていた。当時はコンピューターが普及する前で、楽曲は1本のテープに収録されていた。会話を盛り上げるため、クラークは一見無害そうな質問をした。「マルチトラック録音以前の時代のテープから、個々の楽器を分離できますか？分解できますか？」

エンジニアたちは彼の提案を却下した。「何時間もかけて、なぜそれが不可能なのかを事細かに説明し合った」とクラークは回想する。ちょっとした音響トリックを使えば、1チャンネルのモノラルを2チャンネルのステレオに変えることも可能だが、クラークはそれには興味がなかった。クラークはもっと精密なもの、つまり曲を分解して、リスナーが一度に一つの要素だけを聞き取れるようにする方法を探していた。ギターだけ、ドラムだけ、あるいはボーカルだけ、といった具合だ。

「人間の耳でできるなら、ソフトウェアでも同じことができると、彼らに言い続けました」と彼は言う。彼にとってこれは挑戦だった。「私はニュージーランド出身です。私たちは、人々が間違っていることを証明するのが大好きなんです。」

この挑戦によって、彼はアップミックスという分野の最先端に立ちました。アップミックスとは、ソフトウェアエンジニアとオーディオエンジニアが協力して、かつては考えられなかった方法で古い録音を変換するものです。機械学習を使用することで、エンジニアは録音された声と楽器を完全に別々のコンポーネントトラック（ステムと呼ばれることが多い）に「デミックス」することを実現しました。曲のコンポーネントを分離することは驚くほど難しい問題で、はさみを使うというよりは、絵の具の渦巻きをほどくようなものです。しかし、エンジニアがステムを入手すれば、分離されたトラックを「アップミックス」して、新しい、おそらくは改善された何かにすることができます。古い録音のこもったドラムトラックを強調したり、曲のアカペラバージョンを作成したり、またはその逆に曲のボーカルを削除してテレビ番組や映画のBGMとして使用したりすることもできます。

アビーロードの従業員だったクラークが、やがてビートルズの楽曲に実験の焦点を当てるのは当然の流れだった。しかし、昔の音楽を分解しようとしていたのは彼だけではなかった。世界中で、他のオーディオ愛好家たちが、それぞれのお気に入りのトラックで同じ課題に取り組み、いくつかの同じ手法に収束していった。クラークの運命的なランチタイムの会話から数年の間に、曲を分割するためのアプリやツールの数は爆発的に増加し、この手法を取り巻く学者や愛好家のコミュニティも成長した。サンプルベースの音楽のクリエイターにとって、デミックスは40年前のヒップホップ爆発の原動力となったデジタルサンプラー以来、最も偉大な音響的発明と言えるだろう。カラオケファンにとっては、ゲームチェンジャーとなるだろう。古典的だが質の低い録音の権利を所有する人々（またはプライベートエクイティファーム）、あるいは法的グレーゾーンに踏み込むことをいとわない愛好家にとって、アップミックスは過去を聴くための全く新しい方法を提供する。数十年にわたるゆっくりとした進歩を経て、ディープラーニングは今や両技術を急速に進化させています。不気味の谷現象は音楽の音とともに生き生きとしています。

ニューオールドサウンズ

20年前、デミックスの実験を最初に行った人物の一人が、ロングアイランド出身のプロの電子試験エンジニア、クリストファー・キッセルでした。キッセルはレコーディングスタジオに簡単にアクセスできませんでした。しかし、生涯にわたる音楽ファンであった彼は、古いトラックを新しいサウンドにすることを夢見ていました。

1960年代まで、ポピュラー音楽のほとんどすべてがモノラルで録音され、聴かれていました。楽器パートとボーカルパートはすべてテープの1つのトラックに録音され、1つのスピーカーから再生されていました。曲はテープに録音された時点で、ほぼ完成していました。しかし、キッセルは古いモノラル録音を根本的にアップデートできるかもしれないという予感を抱いていました。

2000年、キッセルは初めてMacを購入しました。その目的は、50年代と60年代のシングルトラックのポップソングを、ヘッドフォンや適切にセパレートされたスピーカーに適した2チャンネルステレオバージョンに変換することでした。「モノラルと比べて、ステレオはよりリアルなサウンドで、ミュージシャン同士の掛け合いをより深く聴き、深く理解することができます」と彼は言います。ほとんどのリスナーはおそらく2つのスピーカー（またはヘッドフォン）で音楽を聴くことを好むでしょう。キッセルは、古い録音をステレオ化することにこだわるほどでした。

新しいMacを手にした最初の夜、キッセルはフロッピーディスクを使って、初期のデジタルオーディオワークステーション「sonicWORX」をインストールした。これは、録音されたボーカルの音量を部分的に上げることができるプラグイン「Pandora Realtime」を実行できる唯一のソフトウェアだった。「当時としては非常に先進的でした」とキッセルは言う。彼は、このツールでもっと面白いことができるのではないかと試してみたかった。そこで、ミス・トニ・フィッシャーの1959年のヒット曲「ビッグ・ハート」を読み込み、その魅力を解き明かそうとした。

キッセル氏によると、SonicWORXの波形ビジュアライザーと設定を使って曲を微調整した結果、「リードボーカル、バックボーカル、ストリングスを分離し、右側に、残りのバック楽器を左側に移動させることができた」という。粗削りで多少の不具合はあったものの、効果は強力だった。「聴いていて本当に興奮しました」と彼は語る。数十年経った今でも、キッセル氏はあの最初の体験に圧倒されている。

彼は、デル・ヴァイキングスの「Whispering Bells」、ジョニー・オーティスの「Willie and the Hand Jive」、そしておそらく最も適切なのは、影響力のあるサウンドエンジニアのジョー・ミークがプロデュースし作曲した未来的な DIY の驚異であるトルネードスの「Telstar」など、さらに多くの 50 年代と 60 年代のクラシックを試しました。

キッセルは、フォーラムのモデレーターを務めたり、この分野の進歩を記録するウェブサイトを運営したりすることで、発展途上のデミキシングとアップミキシング（これらの名称は後から生まれたものですが）の分野に没頭しました。彼は、音を視覚的なオブジェクトとして扱うことを可能にする「スペクトル編集」という手法に着目し始めました。楽曲をスペクトルエディターに読み込むと、録音されたすべての周波数が、カラフルな山と谷としてグラフ上に並べられて表示されます。当時、オーディオエンジニアは録音データから不要なノイズを除去するためにスペクトル編集を使用していましたが、大胆なユーザーはオーディオトラックの特定の周波数に焦点を絞り、それらを抜き出すこともできました。「Frequency」というフリーウェアのスペクトル編集ツールが登場したとき、キッセルはそれを試してみることにしました。

彼はFrequencyを使って約60時間をかけ、ボーカルグループ「ファイヴ・キーズ」による1951年のモノラルR&Bヒット曲「The Glory of Love」のアップミックスを作成しました。アプリを使って個々のボーカリストを注意深く選別し、彼らの声をステレオスペクトル全体に拡散させました。キッセルの友人であるディスコ界のレジェンド、トム・モールトンが最終的な仕上げを行い、この曲はスペクトル編集されたアップミックスとして初めて商業アルバムに収録されました。2005年、複数のレーベルがすぐにモノラルからステレオにアップミックスされたヒット曲のコレクションをリリースし始めました。ライセンス契約されている場合もあれば、パブリックドメインになっている場合もあり、その中間の場合もあります。

フランスのソフトウェア企業Audionamixは、ユーザーが独自にトラックを分解できるようにプロ仕様のデミックスソフトウェアの開発を開始し、この技術群をより身近なものにしました。2007年には、エディット・ピアフの伝記映画『ラ・ヴィ・アン・ローズ』のために、モノラル録音を劇場対応のサラウンドサウンドに変換するという、アップミックスにおける大きな成果を発表しました。2009年には、映画、テレビ、CMの仕事獲得を継続するため、ハリウッドにオフィスを開設しました。

彼らのプロジェクトには、フォーカス・デミックス（集中的なデミックス）も含まれていました。英国のオンライン融資会社Sunnyが、故アメリカ人R&Bシンガー、ボビー・ヘブの楽曲「Sunny」をCMで使用しようとした際、曲のオリジナルボーカルの1つがCMのナレーションを邪魔していることが判明しました。Audionamixの協力により、この厄介なボーカルは完全に削除されました。このフランスの企業はまた、元々は「音楽分離」と呼ばれていましたが、現在はやや穏和な「音楽除去」という名称に変更されたサービスも提供しています。これは、古いテレビ番組や映画から、ライセンス取得に費用がかかりすぎる可能性のある音楽を削除し、DVDやストリーミングなどの最新フォーマットでリリースできるようにするものです。Audionamixの研究員であるニコラス・カタネオ氏によると、「これは少なくとも商業的には、実際に使えるようになった最初のものです」とのことです。（古い映画やテレビ番組の音楽を研究する研究者は、オリジナルのサウンドトラックを確実に聴きたいのであれば、2009年頃以前のリリースに頼るべきでしょう。）

AudioSourceREとAudionamixのXtrax Stemsは、自動デミックスを実現するコンシューマー向けソフトウェアの先駆けと言えるでしょう。例えば、Xtraxに楽曲を入力すると、ボーカル、ベース、ドラム、そして「その他」のトラックが出力されます。「その他」とは、ほとんどの音楽で聞かれる様々な音を網羅する重要な役割を担う、いわば「その他」のことです。いずれは、万能のアプリケーションが、録音された楽曲を瞬時に、そして完全にデミックスできるようになるかもしれません。それまでは、1トラックずつデミックスしていくことになりますが、これは独自の芸術形式へと発展しつつあります。

耳で聞こえるもの

アビー・ロード・レコードのジェームズ・クラークは、2010年頃から本格的にデミキシング・プロジェクトに取り組み始めた。研究を進める中で、彼は1970年代に書かれた、ビデオ信号を顔や背景といった構成要素の画像に分解する技術に関する論文に出会った。その論文は、彼が物理学の修士課程で、信号の周波数の時間変化を示すスペクトログラムを研究していた頃を思い出させた。

スペクトログラムは信号を視覚化できるが、論文で説明されている非負値行列因子分解と呼ばれる手法は、情報を処理する方法だった。この新しい手法がビデオ信号に有効なのであれば、音声信号にも使えるだろうとクラークは考えた。「楽器がどのようにスペクトログラムを構成するかを調べ始めました」と彼は言う。「『これはドラムのようだ、これはボーカルのようだ、これはベースギターのようだ』と認識し始めました。」約1年後、彼は音声を周波数で分解する説得力のあるソフトウェアを制作した。彼の最初の大きな進歩は、ビートルズの唯一の公式ライブアルバムである『ライブ・アット・ザ・ハリウッド・ボウル』の2016年リマスターで聞くことができる。1977年に発売されたオリジナルLPは、観客の甲高い叫び声のために聴きづらい。

観客の騒音を何とか抑えようと試みたものの、結局うまくいかなかったクラークは、ついに「セレンディピティ・モーメント」に遭遇した。歓声を上げるファンを、信号から除去すべきノイズとして扱うのではなく、ミックスの中のもう一つの楽器として捉えることにしたのだ。観客を個々の声として認識することで、クラークはビートルズファンを鎮め、彼らを孤立させ、背景に追いやることにした。こうして、4人のミュージシャンが音響的に前面に出てくるようになった。

クラークはアップミックスの頼れる専門家となり、グラミー賞にノミネートされた38枚組CD『ウッドストック - バック・トゥ・ザ・ガーデン：50周年記念決定版アーカイブ』の救済にも貢献した。このアーカイブは、1969年のメガ・フェスティバルのすべてのパフォーマンスを収録することを目的としていた（情報開示：私はこのセットのライナーノーツを寄稿した）。フェスティバル中の激しい雨が降る中、シタール奏者のラヴィ・シャンカールがステージに立った。しかし、このパフォーマンスの録音で最大の問題は雨ではなく、当時のシャンカールのプロデューサーがマルチトラックテープを持ち逃げしたことだった。スタジオでそれらを聴いたシャンカールは、それらを使い物にならないと判断し、代わりにスタジオで偽造した『アット・ザ・ウッドストック・フェスティバル』のLPをリリースした。ウッドストック自体の音源は1つも入っていなかった。オリジナルのフェスティバルのマルチトラックはずっと前に姿を消したため、将来の再発プロデューサーには、コンサートのサウンドボードからの損傷したモノラル録音しか残されなかった。

クラークはこのモノラル録音のみを用いて、シタール奏者の楽器を雨音、音響のノイズ、そして数フィート離れた場所に座るタブラ奏者から分離することに成功した。その結果は「完全に本物らしく、正確」なものとなり、ミックスの中にわずかなアンビエンスが残っていたと、ボックスセットの共同プロデューサーであるアンディ・ザックスは語る。

「アップミックスによって、取り戻せないものを再び取り戻す可能性が生まれるというのは、本当に刺激的です」とザックスは語る。この手法を、古典的な白黒映画をカラー化するのと似ていると考える人もいるかもしれない。「常に緊張感があります。再構築したいという気持ちと、自分の意志を押し付けたくないという気持ち。それが挑戦なんです」

深淵へ向かう

クラークがビートルズのハリウッド・ボウル・プロジェクトの作業を終えた頃、彼と他の研究者たちは壁にぶつかっていました。彼らの技術はかなり単純なパターンには対応できましたが、ビブラート（一部の楽器や人間の声に特徴的な微妙な音程変化）のかかった楽器には対応できませんでした。エンジニアたちは新たなアプローチが必要だと気づきました。「それがディープラーニングへとつながったのです」と、音楽ソフトウェア企業AudioSourceREの創業者兼最高技術責任者であるデリー・フィッツジェラルドは言います。

フィッツジェラルドは生涯にわたるビーチ・ボーイズのファンだった。彼が趣味でモノラルからステレオへのアップミックスを手がけた作品のいくつかは、2012年以降の公式リリースに採用された。クラークと同様に、フィッツジェラルドも非負値行列分解の手法を編み出した。そしてクラークと同様に、彼もその限界に達していた。「コードの微調整に費やす時間が、とてつもなく長くなってしまったんです」と彼は言う。「もっと良い方法があるはずだと思いました」