美しさは見る人の目の中にあるが、記憶に残るかどうかは普遍的かもしれない

週末の午後を友人と美術館で過ごすところを想像してみてください。腕を組んで頷き合い、何か心に響く言葉を必死に探しているのです。通り過ぎる絵画のほとんどはすぐに忘れてしまいますが、いくつかは心に残ります。結局のところ、あなたが覚えている絵画は、おそらく他の誰もが覚えているものと同じものなのです。

これには科学的な用語があります。「画像の記憶可能性」です。「本質的には、あるコンテンツを他のコンテンツよりも記憶に残りやすくする固有のパターンが存在するという考えです」と、MITでコンピュータサイエンスを学ぶ博士課程の学生であり、機械学習を用いてコンテンツが広告主やクリエイターにとってどれほど魅力的かをテストするスタートアップ企業、Memorable AIのCTOを務めるカミロ・フォスコ氏は言います。言い換えれば、特定の芸術作品には、言葉では言い表せない魅力（je ne sais quoi）があるということです。そして今、科学者チームがAIを用いて、その魅力を解明しようとしています。

シカゴ大学の研究者、トレント・デイビス氏とウィルマ・ベインブリッジ氏は、今月初めに米国科学アカデミー紀要（Proceedings of the National Academy of Sciences）に発表した研究で、芸術作品の記憶しやすさは人によって一貫しているだけでなく、AIによって予測可能であることを示した。オンライン実験で、両氏はシカゴ美術館のデータベースから約4000点の絵画を抽出したが、同美術館が「ブースト」した作品や特に有名な作品は除外した。3200人以上が数百枚の画像を閲覧し、各絵画を約40人が閲覧した。その後、被験者には見たことのある絵画と見たことのない絵画を混ぜて見せ、それらを覚えているかどうかを尋ねた。その結果は実に一貫しており、誰もが同じ画像を覚えている（または忘れる）傾向があった。

データサイエンティストのコーエン・ニーデル氏がベインブリッジ大学心理学研究室の修士論文の一環として設計したResMemと呼ばれるディープラーニングニューラルネットワークを用いて、研究チームは各絵画がどれほど記憶に残る可能性を予測することに成功した。ResMemは、人間の視覚系が網膜から大脳皮質へ情報を伝達する仕組みを大まかに模倣しており、まず輪郭、質感、パターンといった基本情報を処理し、次に物体の意味といったより抽象的な情報へとスケールアップしていく。ResMemの記憶可能性スコアは、オンライン実験で人間が得たスコアと非常に高い相関を示した。AIは各作品の文化的背景、人気、重要性について何も知らなかったにもかかわらずだ。

直感に反して、これらの研究結果は、芸術作品の記憶は、美や個人的な意味といった主観的な経験よりも、作品そのものに大きく関係していることを示唆しています。これは、アーティスト、広告主、教育者、そして自分のコンテンツを人々の脳に定着させたいと願うすべての人にとって、大きな意味を持つかもしれません。「芸術は非常に主観的なものだと思うかもしれませんが」とベインブリッジ氏は言います。「しかし、人は記憶するものと忘れるものが驚くほど一貫しているのです。」

オンラインでの実験は興味深いスタートでしたが、彼女は「現実世界での記憶を予測できればもっと興味深い」と続けます。そこで、当時神経科学と視覚芸術を専攻していたデイビスと共に、ベインブリッジはさらに19人を募集し、まるで友人と探検しているかのように美術館のアメリカ美術部門を実際に歩き回ってもらいました。唯一の条件は、各作品を少なくとも一度は見ることでした。「特に私自身もアーティストなので、この結果を現実世界に当てはめたいと思いました」と、現在ラボのマネージャーを務めるデイビスは言います。「自然で楽しい美術館体験にしたかったのです。」

展示会場を出る際、参加者はそれぞれスマートフォンで記憶テストを受けた。オンライン実験と同様に、ResMemは人々がどの絵画を記憶しているかを強く予測した。

これらの傑出した絵画に共通するものは何だったのでしょうか？それは、それらは大作であったり、より大きな作品に囲まれていたりすることが多かったことです。しかし、主題、時代、色彩、感情的なテーマは共通していませんでした。そこでベインブリッジのチームは、人々が何を感じ取っているのかを探るため、さらに調査を深めました。3つ目の実験では、2つ目の実験に参加した人々が美術館で直接見た各絵画について、40人のオンライン参加者がそれぞれ、美しさ、感情的なトーン、親しみやすさ、面白さを評価しました。最初の3つの要素、そして色、明るさ、雑然とした感じ方といった基本的な視覚的特徴は、記憶に残ることとは無関係であることが判明しました。「記憶に残ることと実際に関連していたのは、人々がその作品をどれだけ面白いと感じたかという点だけです」とベインブリッジは言います。

しかし、「面白い」とはどういう意味なのかを明言するのは難しい。好奇心から隠された嫌悪感まで、あらゆる意味合いを持つ曖昧な言葉だ。ベインブリッジ氏は、人々が何に面白いと感じるかは、その芸術作品が人間の文化とどのように関わっているかに関係していると考えている。人間の被験者とResMemの両方によると、最も記憶に残る絵画の中には、ユーモラスなものもあれば、下品なものもあった。例えば、最も高得点を獲得した絵画の一つは、2つの長方形のジャガイモが紐からぶら下がり、まるで睾丸のように疑わしい形をしている。「私たちはそれを拾い上げます」とベインブリッジ氏は言う。たとえニューラルネットワークがその理由を説明できなくても。

フォスコ氏は、Memorable AIでの自身の研究でも同じことを指摘しており、これを「奇妙さと記憶に残りやすいことの間には明確な相関関係がある」と呼んでいる。アドビのシニアリサーチサイエンティスト、ゾーヤ・ビリンスキー氏も、2015年に芸術作品に対する人々の美的判断に関する研究で同様の結論に達した。シカゴ大学のチームと同様の手法を用いて、彼女は人々が自然風景を最も美しいと評価する傾向があるものの、最も記憶に残るものではないことを発見した。「私たちは美しいから何かを覚えているわけではありません」と彼女はWIREDへのメールで述べている。「私たちはそれが際立っているから、奇妙だから、これまで見たことのないものだから覚えているのです」

ベインブリッジ氏は以前の研究で、記憶課題を行っていない場合でも、脳、特に視覚情報の流れと内側側頭葉の一部が、記憶に残る画像と記憶に残らない画像に対して異なる反応を示すことを発見した。彼女は、脳がどの視覚入力を優先し、どの入力を無視できるかを素早く判断していると考えている。しかし、脳（あるいは人工ニューラルネットワーク）がこれらの経験を他の経験と区別するために具体的に何をしているのかは、まだ解明されていない。

ResMemは「まさにブラックボックスだ」とニーデルは言う。以前の研究で彼は、各コンポーネントを最大限活性化させる画像を生成することで、モデルが何を考えているのかを解明しようと試みた。（ペットのお気に入りのおもちゃを一つ一つ振って、どれが一番興奮するかを調べるのと似ている。）その結果は不可解なものだった。物体の破片と虹がサイケデリックに渦巻く光景だ。「一つは頭から離れない。人の顔の下半分を抜き出して、フラクタル模様に変えたような画像だった」

ベインブリッジ氏によると、「興味深い」画像は記憶に残りやすい傾向があるものの、芸術作品が記憶に残るかどうかには、他にも多くの要因が影響する。嫌悪感や恐怖といった非常に強い否定的な感情は、その体験を記憶に残すと彼女は言う。今回の研究で研究者たちがこの特定の効果を観察しなかったのは、どの絵画も真にグロテスクであったり恐ろしいものではなかったためかもしれない（これらの特徴は、美術館のような美術館では珍しいため）。

脳はまた、驚くべきもの、新しいもの、珍しいものを優先する傾向があります。「私たちは過去を記憶することで、未来をより正確に予測することができます」とビリンスキーは書いています。彼女は、特定の芸術作品が文化的に有名になるのは、その作品が際立っているからではないかと推測しています。それは、様式的に独特であったり、珍しい主題に触れていたり、あるいは予想を裏切ったりするなど、様々な理由があるかもしれません。「こうした理由から、作品は人々の脳に深く刻み込まれるのです」と彼女は言います。

現在、デイビス氏とベインブリッジ氏は、アートを記憶に残す要素を探る新たなアプローチを試みています。それは、アーティストに協力を求めることです。ベインブリッジ氏の研究室では、アーティストたちに最も記憶に残る作品と忘れられやすい作品を制作するコンテストを開催しています。応募作品はギャラリーで展示され、鑑賞者の記憶力が試されます。人々が最も記憶に残る（あるいは忘れられやすい）作品が優勝し、アートの魅力を探る手がかりとなることが期待されます。（応募資格は、2024年1月1日までに作品をシカゴに送付する意思のある、米国在住のアーティストであればどなたでも構いません。）

デイビス氏は、アーティストが作品を永続的に残す要素を理解できるかどうかだけでなく、制作過程において記憶に残る性質がどのように形成されるかを研究したいと考えています。アーティストは、制作途中の写真を少なくとも5枚提出する必要があります。「筆遣いが少し加わるだけで、記憶に残る性質は変わります」とデイビス氏は言います。「そこで、ResMemを使って、絵画に加えられる変化ごとに記憶に残る性質の変化を追跡しています。」

作品が鑑賞者の記憶にどれだけ残るかを予測し、アーティストが観客に合わせて作品を微調整する力​​を与えるAIは、ビジュアルアーティストにとっては恐ろしい存在に聞こえるかもしれない。Dall-Eのような生成AIツールと同様に、AIは創作プロセスや表現の妨げになるのではないかと懸念する人もいるとデイビス氏は言う。デイビス氏はこれらの研究結果を自身の作品に応用するかどうかを頻繁に尋ねられるが、神経科学の洞察が創作の世界に浸透しないように努めていると語る。彼はResMemを、ギャラリーのキュレーターやアーティストが作品のプレゼンテーションを磨くためのツールとして捉えており、彼ら自身の創作活動の方向性を置き換えるものではないと考えている。

記憶に残る力を利用することは、アーティストやエンターテインメントを消費するすべての人にとって脅威となる可能性がある一方で、ビリンスキー氏は、イメージが記憶に残る理由を理解することで、人々を操作から守ることができると考えている。「解決策は、知識を減らすことではなく、知識を広く普及させることです」と彼女は書いている。「知識が自分に不利に利用されていると、他の人が認識できるようにすることです。」

2023年7月25日午後3時19分更新: このストーリーは、Zoya Bylinskii氏の名前のスペルと、彼女のチームの2015年の研究へのリンクを修正するために更新されました。