AIは本当に失われた傑作を垣間見せることができるのか？

1945年、グスタフ・クリムトの最も物議を醸した絵画3点が火災で焼失しました。1894年にウィーン大学のために制作依頼され、「学部絵画」として知られるようになったこれらの作品は、オーストリア象徴主義者であるクリムトのこれまでの作品とは一線を画していました。発表されるや否や、批評家たちは当時の美学からの劇的な逸脱に激怒しました。大学の教授たちは即座に作品を拒否し、クリムト自身もプロジェクトから撤退しました。その後まもなく、これらの作品は他のコレクションに収蔵されました。第二次世界大戦中、作品は保管のためウィーン北部の城に安置されましたが、城は焼失し、絵画もおそらく焼失したと思われます。今日残っているのは、当時の白黒写真と文書だけです。それでも私は、これらの作品をじっと見つめています。

絵画そのものではありません。クリムトの専門家であるフランツ・スモラ氏と機械学習研究者のエミール・ウォルナー氏は、それぞれの専門知識を結集し、6ヶ月かけてクリムトの失われた作品を復元しました。これは大変な作業で、白黒写真から始まり、人工知能（AI）と画家の芸術に関する膨大な情報を統合し、失われた絵画がどのようなものであったかを再現しようと試みました。その成果がスモラ氏とウォルナー氏が私に見せてくれたものです。AIが作り出した魅惑的なテクニカラー画像には、彼ら自身も驚嘆しています。

一つだけはっきりさせておきたい。このAIがクリムトのオリジナル作品を復活させていると言っている人はいない。「これは実際の色を再現するプロセスではなく、写真に色を付ける作業です」とスモラ氏はすぐに指摘する。「写真という媒体自体が、すでに実物作品から抽象化されているのです」。機械学習が行っているのは、何十年も失われたと思われていた何かを垣間見せることなのだ。

スモラ氏とウォールナー氏はこれを喜ばしいことだと考えているが、AIがこうした空白を埋めることを支持する人は皆無ではない。機械学習によって失われたり破壊されたりした作品を再現するというアイデアは、学部絵画自体と同様に物議を醸している。「私の最大の懸念は、保存修復の文脈で機械学習を使用することの倫理的側面です」と美術品保存修復士のベン・フィノ＝ラディン氏は言う。「機械学習分野を悩ませてきた倫理的・道徳的問題が山積しているからです。」

確かに、テクノロジーを用いて人間の芸術作品を蘇らせることは、難題に満ちている。たとえクリムトがどのような色彩や筆遣いを用いたかを解明できる完璧なAIがあったとしても、いかなるアルゴリズムも作者の意図を生成することはできない。この点については、何世紀にもわたって激しい議論が繰り広げられてきた。1936年、クリムトの絵画が破壊される前に、随筆家のヴァルター・ベンヤミンは、写真であっても機械による複製に反対し、「芸術作品の最も完璧な複製でさえ、ある要素が欠けている。それは、時間と空間におけるその作品の存在感、それがたまたま存在する場所におけるその唯一の存在である」と述べた。ベンヤミンは『複製技術時代の芸術作品』の中で、これを作品の「アウラ」と呼んだと書いている。多くの芸術愛好家にとって、コンピューターがその無形の要素を再現するという考えは、全く不可能ではないにしても、とんでもないことだ。

しかし、AIの能力から学ぶべきことはまだ多くあります。学部絵画はクリムトの芸術家としての発展において極めて重要な役割を果たし、初期の伝統的な絵画と後期のより過激な作品をつなぐ重要な架け橋となりました。しかし、フルカラーではどのように見えたのかは謎に包まれたままです。スモラとウォルナーが解こうとしていたのはまさにその謎です。Google Arts and Cultureを通じて企画された彼らのプロジェクトは、完璧な複製ではなく、何が欠けているかを垣間見せることを目指していました。

そのために、ウォールナーは3部構成のアルゴリズムを開発し、トレーニングした。まず、アルゴリズムにGoogle Arts and Cultureデータベースから約10万枚の芸術作品の画像を入力した。これにより、オブジェクト、アートワーク、構成を理解できた。次に、アルゴリズムはクリムトの絵画について具体的に学習した。「これにより、その時代の彼の色彩とモチーフへの偏りが生まれます」とウォールナーは説明する。そして最後に、AIには絵画の特定の部分の色彩の手がかりが与えられた。しかし、絵画に色彩の参照がないため、これらの手がかりはどこから来たのだろうか？クリムトの専門家であるスモーラですら、当時の文献からこれほどの詳細が明らかになったことに驚いたという。絵画は非常に卑劣で奇妙だと考えられていたため、批評家は色彩の選択に至るまで長々と説明する傾向があったと彼は言う。「歴史の皮肉と言えるでしょう」とプロジェクトのプログラムマネージャー、サイモン・ラインは言う。「これらの絵画がスキャンダルを引き起こし、却下されたという事実は、膨大な資料が存在するため、修復においてより有利な立場に立つことにつながります。そして、こうしたデータポイントをアルゴリズムに入力することで、当時の絵画の外観をより正確に再現できるのです。」

その精度の鍵は、アルゴリズムとスモラの専門知識を組み合わせることにあります。彼の研究により、この時期のクリムトの作品には強いパターンと一貫性がある傾向があることが明らかになりました。学部絵画の前後の既存の絵画を研究することで、当時の作品に繰り返し現れる色やモチーフの手がかりが得られました。スモラとウォルナーが遭遇した驚きさえも、歴史的証拠によって裏付けられています。クリムトが初めて絵画を発表したとき、批評家たちは、当時その画家のパレットでは珍しかった赤の使用に注目しました。しかし、学部絵画の直後に描かれた「女性の三時代」では、大胆に赤が使用されており、スモラは、この色こそが学部絵画で初めて見られたときに騒動を引き起こした色と同じだと考えています。当時の文書はまた、別の学部絵画のショッキングな緑の空について騒動を呼んでいます。これらの文章とスモラ氏のクリムトの独特な緑のパレットに関する知識を組み合わせ、アルゴリズムに入力すると、AI から初めて驚くべき画像が生み出されました。

「白黒写真を見ると、まずどんな感じになるのか想像してしまいます。絵画についてあれこれ想像し、空は青く見えるんです」とウォールナーは言う。画像が生成される様子を見ていると、画面上のレンダリングには、渦巻く神秘的な緑色の空が浮かび上がった。「自分の偏見が露呈するところが衝撃的でした」と彼は言う。「私にとって、これらの絵画をカラーで初めて見た時は、『わあ、こんな風に見えるんだ！』と思いました」

グスタフ・クリムトの専門家であるフランツ・スモラ氏と機械学習研究者のエミール・ウォルナー氏は、それぞれの専門知識を結集してクリムトの「Faculty Paintings」を復活させるのに6か月を費やした。

クリムト・プロジェクト提供

AIによって復活させられるのはクリムトの作品だけではない。アムステルダム国立美術館の上級科学者ロバート・エルドマン氏は、進行中の研究・保存プログラム「オペレーション・ナイト・ウォッチ」の一環として、機械学習を用いてレンブラント・ファン・レインの1642年の傑作「夜警」にまつわる謎を解明しようとしている。現在、この絵画は幅約4.5メートル、高さ約3.8メートルだが、これは画家のオリジナルよりはるかに小さい。1715年に、新しい場所に収まるように四辺すべてが切り取られた（最も深い切り込みは左側から取られ、なんと60センチにも及ぶ）。切り取られた部分は見つかっていないが、エルドマン氏は機械学習によってレンブラントが当初この絵画に抱いていたイメージを解読できることを期待している。

エルドマン氏が計画を練り始めたとき、最も強力なデータポイントは、巨匠の忠実な模写で知られる画家ヘリット・ルンデンスが17世紀に制作した縮小模写だった。この模写には、現在失われているレンブラントの作品の一部も含まれていた。エルドマン氏の設計では、3つのニューラルネットワークが使用されていた。最初のネットワークで、彼は両方の絵画にわたって視覚的に一致する点をマッピングした。並べて同じサイズに拡大すると、ルンデンスの絵画がレンブラントの絵画に忠実であることは明らかだった。しかし、エルドマン氏が2つの絵画のデジタルオーバーレイを切り替えると、模写にどれほどの歪みと伸縮があったかが明らかになった。そこで2つ目のネットワークの出番が来た。このネットワークはルンデンスの絵画を歪ませ、ある場所では伸縮させ、別の場所では圧縮して、空間的な歪みのほとんどが消えた。

これで、ルンデン兄弟の作品とレンブラントの作品は非常によく一致しました。しかし、これらはそれぞれ独自のスタイルを持つアーティストによって制作された2つの作品です。この問題を修正するには、3つ目のステップが必要でした。エルドマン氏はこれを「ニューラルネットワークを美術学校に送る」と呼んでいます。バックプロパゲーションと呼ばれるプロセスを通じて、ネットワークはルンデン兄弟の作品をレンブラントのスタイルで表現することを学習しました。何度も反復処理を繰り返し、徐々に一致度を上げていき、ついには頭打ちになりました。完璧な一致と言えるでしょうか？いいえ、常にどこかで損失があり、どれだけ近づけられるかには限界があります。

他のあらゆる新技術と同様に、AIと機械学習は、数十年前の美術作品を含め、その使用法や倫理に関する疑問を提起する。バックネル大学サメック美術館の館長リチャード・ライナーハート氏は、テクノロジーとの関わりは常に、テクノロジーとの社会契約を定めることにあると指摘するが、AIはある側面において特異かもしれない。「これまでテクノロジーと社会契約は一方的に決定されてきましたが、AIは自ら交渉できる可能性があります」と彼は言う。しかし、テクノロジーは常に、材料科学、化学、色彩科学など、保存修復の中心的な存在であり続けてきた。「AIの導入は、大きな変化の可能性を示唆している可能性があります」とライナーハート氏は付け加える。「しかし、アートにテクノロジーを適用するという概念は、歴史的に受け入れられてきた実践の一部であり、自己批判はそうした実践の健全な一部です。」

美術品保存修復家のフィノ＝ラディン氏は、業界内での自己批判の高まりを期待しているが、懸念はより深いところにある。彼らはこの技術がもたらす創造的な道に期待を寄せている一方で、修復や保存と混同されることを懸念している。「AIを『修復』と呼ぶこと、あるいは美術作品に命を吹き込むようなことを暗示する言葉を使うことは、誤解を招くし、あまりにも単純化しすぎている」とフィノ＝ラディン氏は言う。「この種の仕事は、いわゆるデジタル美術史の分野に属するものだ」

スモラとウォルナーは批判を認識しており、クリムト・プロジェクトの射程と限界を丁寧に説明している。「オリジナルの絵画から大きく逸脱しないように、写真はそのまま使用しました」とウォルナーは語る。エルドマンは、この復元の目的は、レンブラントのオリジナルの構図がどのようなものだったかを一般の人々に見てもらいたいと指摘する。「ルンデンスのコピーをレンブラントのスタイルに翻訳する際、AIにはレンブラントの生命力と天才性を絵画に取り戻す能力がありません」と彼は強調する。「私はそうしようとしているわけではありませんし、そうしたくもありません」。現在アムステルダム国立美術館で目にするのは、切り取られた絵画、つまりオリジナルのレンブラントから唯一残された部分だ。拡張された構図のプリントアウトは、2021年6月から10月までの期間限定で展示され、絵画と面一ではなく前面に展示されていたため、オリジナルと見間違えることはない。

ライナーハート氏は、これらのプロジェクトを、アート界におけるAIの効果的な活用方法を示す貴重なケーススタディと捉えています。この技術が未来にもたらす可能性に目を背けるのではなく、キュレーター、保存修復家、美術館、そして一般の人々など、あらゆる人々がより深く関わってくれることを期待しています。「重要なのは、一般の人々に美術館の活動の軌跡を辿ってもらうことです。そうすれば、これらの事例を通して、『現実』と『模造品』の間のニュアンスや有用性の差異をより明確に理解できるようになるでしょう」と彼は言います。

テクノロジーが古来の謎にもっともらしい答えを出すとき、芸術や芸術家のオーラは薄れてしまうのだろうか？Google Arts and Cultureのチームに尋ねれば、彼らの答えは率直かつ現実的な「ノー」だ。むしろ、彼らは、自分たちの作品が学部絵画に光を当て、黄金期の作品を通してしか知られていない革命的な画家クリムトにまつわる謎を深めていると考えている。エルドマンのAIによる復元によって、人々はレンブラントの『夜警』における本来の力強いビジョンを見ることができる。失われたものを視覚化できるということは、間違いなくプラスに働く。

おそらくすべてはオーラに帰着するのだろう。AIは美術史の多くの空白を埋めることができるが、傑作を再現することはできない。他にできることはない。「オーラは『真正のオリジナル』か『偽物の人工物』かという二者択一を提示するものではない」とライナーハートは言う。絵画の目の前に立つことやコンピューター画面で鑑賞することを楽しむことは可能だが、それらはそれぞれ異なる、重層的な体験だ。重要なのは、私たちがそれらを見た時に何を感じるかだ。

WIRED Resilience ResidencyはMicrosoftの支援を受けて実現しました。WIREDのコンテンツは編集権を保有し、WIREDのジャーナリストによって制作されています。 このプログラムの詳細については、こちらをご覧ください。

WIREDのその他の素晴らしい記事