ベル研究所の「オンリー・ヒューマン」アートプロジェクトはテクノロジーを通じて人々を結びつける

4月の午後遅く、ニュージャージー州ジャージーシティにある工場を改装したギャラリー、マナ・コンテンポラリーの巨大な部屋の真ん中に、リサ・パークはインターン生と手をつないで立っていた。二人の足元には、人工芝の上に道路の穴ほどの大きさの金属板が3枚埋め込まれ、そこから電気を計測する一連のセンサーへと配線が伸びていた。二人の目の前には、19フィート×12フィートの半透明のスクリーンが部屋を横切って広がり、その背後に隠れている配線、コンピューター、照明の絡まりを隠していた。

脳波や心拍をパフォーマンスアートに変えるマルチメディアアーティスト、パクは女性の手を握り、二人は並んでスクリーンを見上げた。そこには葉のない桜の木の3Dレンダリングが暗闇の中で光っていた。「咲くはずなのに」とパクは苛立ちを込めて言った。二人の女性はさらに強く抱き合い、待った。何も起こらなかった。

「靴を脱がなければなりません」と部屋の後ろから声がした。

「ああ、そうだ」とパク氏は笑いながら言った。

パクとインターンは互いの手を離し、ブーツを脱いだ。裸足で皿の上に再び足を踏み入れ、ぎこちなく抱き合った。数秒後、部屋の奥のコンピューターが二人の女性の間の電気伝導度のわずかな上昇を記録し、薄ピンクの花が枯れた木の枝に咲き始め、やがて落ちてデジタルの空気を伝って地面に落ちた。

デモの数ヶ月前、パークはニュージャージー州の有名な研究施設、ノキア・ベル研究所のスタジオに座り、ノートパソコンの画面に映し出された小さな木のプロトタイプを見せていた。壁には、手をつないだり寄り添ったりしている人々の写真がピンで留められていた。作業台にはジェルパッチセンサーとワイヤーが山積みになっていた。パークは「Blooming」と題されたこの作品を、人と人との繋がりの未来についての瞑想だと説明する。「桜は、あなたと他の人との感情​​的な繋がりに基づいて咲くというアイデアです」と彼女はコンピューターのスライドをクリックしながら言った。「伝導率、静電容量、抵抗。これらはすべて親密さの代理指標なのです」

昨年、パークはアーティストのソグウェン・チャン、ダンスコレクティブ「ハマーステップ」のダンサー、ジェイソン・オレムスとギャレット・コールマンと共に、ベル研究所を拠点に「アートとテクノロジーの実験」というレジデンシー活動を行ってきました。ベル研究所とニューミュージアムのインキュベーターであるニューインクとのコラボレーションによるこの1年間のレジデンシー活動は、最近マナで開幕した展覧会「オンリー・ヒューマン」で最高潮に達し、アーティストたちの作品は5月末まで展示されます。

「オンリー・ヒューマン」は、1960年代に遡るアーティストとの豊かなコラボレーションの歴史を持つベル研究所にとって、ある意味の里帰りと言えるでしょう。当時、ベル研究所のエンジニアであるビリー・クルーバーとフレッド・ウォルドハウアー、そしてアーティストのロバート・ラウシェンバーグとロバート・ホイットマンによって、EATの最初のイテレーションが立ち上げられました。60年代のEATは「9 Evenings」と呼ばれるパフォーマンスで有名で、アーティストとベル研究所のエンジニアが、その後数十年にわたるインタラクティブ・アートの礎となる一連のテクノアート的実験を繰り広げました。当時、EATは未知の概念でした。アーティストのほとんどはテクノロジーを使っていませんでしたし、技術者もアーティストと作品を共有する習慣はありませんでした。

50年を経て、EATは参加アーティストや研究者にとって新たな意味を持つようになりました。テクノロジーはもはや目新しいものではなく、当たり前のものとなっています。かつてはテクノロジーの進歩に理想主義的な好奇心を抱いていたアーティストたちも、今ではテクノロジーが人間同士の交流にどのような影響を与えてきたのかを問いかけています。

この緊張関係は、アーティストにとって格好の領域です。彼らは往々にして、実用的なアプリケーションの構築よりも、テクノロジーをめぐる挑発的な作品を生み出すことに興味を持つからです。EATの復活は、アーティストにとって、ベル研究所のエンジニアたちと共に、大きな問い（テクノロジーをいかに人間らしくできるか？テクノロジーはより人間らしくあるべきか？）を探求する絶好の機会です。アーティストたちが作品の中で使用するネットワーク、カメラ、ケーブルを実際に開発しているのは、まさに彼らだと、New Inc.のディレクター、ジュリア・カガンスキーは語ります。「テクノロジーをフェティッシュ化しないことを願っています」と、カガンスキーは先日ベル研究所を訪れた際に語りました。「私たちは、テクノロジーがどのように文化を形成し、私たち自身や他者との関係性に対する理解を形作っているのかを理解しようとしているのです。」

BHAG

人間はどのようにして互いに最善のコミュニケーションをとることができるのか？という問いを理解することこそ、ベル研究所が「BHAG（ビッグ・アゲイン）」と呼ぶものです。これは、壮大で困難で、大胆な目標です。長年にわたり、ベル研究所は、博士号を持つ1,000人の専門エンジニアを擁する企業にふさわしい科学的厳密さをもって、この課題に取り組んできました。基礎研究はベル研究所のアイデンティティとビジネスの鍵であり、エンジニアたちはコミュニケーション技術の向上を目指して、数々のオタク的で技術的な研究課題に取り組んできました。

しかし、約1年半前、ベル研究所の企業観は微妙に変化し始めた。2016年の選挙をめぐる緊張により、これまでずっと存在していた人々の間に根深いコミュニケーションの溝が露呈した。ネットワークの遅延を短縮し、カメラの解像度を向上させることで、人々が互いに会話しやすくなるかもしれないが、相手の真意を理解するのにはほとんど役立たないことが明らかになった。

ベル研究所の社長、マーカス・ウェルドンにとって、この認識は会社の研究に対する考え方を変える転機となりました。ベル研究所は引き続き事業の採算を支える基礎研究を行う一方で、光ファイバーケーブルの改良以上に、より大きく、より差し迫った課題にも取り組む必要がありました。ウェルドンは、ベル研究所の次期BHAG（事業目標）を「共感的コミュニケーション」と呼ばれるものの開発に重点を置くことに決定しました。これは、人々がより深く、より意味のあるレベルでつながることができる、理想的なコミュニケーション状態を表す言葉です。ウェルドンにとって、そしてひいてはベル研究所全体にとって、それは単なる音声、映像、テキストの域を超え、感情を捉え、そして伝達する技術の領域へと踏み込むことを意味します。

「人間が持つ正しいコーディングとは一体何なのか、という発想にとても興味があります。遠くまで情報を転送できるのは、一体どういうことなのか？」と、ウェルドンは昨秋のある日、ベル研究所本部の壁一面のスクリーンの前を歩きながら自問した。彼の背後には、『スタートレック』のレプリケーター、ホロデッキ、そしてトランスポーターの映像が映し出されていた。ウェルドンは、『スタートレック』を、現代のテクノロジーの現状を、たとえ明白ではあっても、的確に捉えていると考えている。「概念的には、彼らはこうした未来的なもののほとんどをほぼ正しく理解していた」と彼は語った。

ウェルドン氏は、スタートレックの3つの技術のうち2つについては、技術者が既に解決済みだと説明した。ホロデッキは、いわば拡張現実と仮想現実を組み合わせたもので、レプリケーターは基本的に高度な3Dプリンターだ。トランスポーターは、人間をエネルギーパターンに分解し、別の場所に再物質化するテレポーテーションマシンだが、科学者にとって未だに難解な概念だ。「人間を実際に分解し、エントロピーエラーなしに再生できると考えるのは愚かだ」とウェルドン氏は述べ、トランスポーターの科学的妥当性について考え込んだ。「問題を解決する正しい方法ではない」

より簡単なのは、人物の印象、つまり感情や思考、感情の本質を伝えることであり、人物そのものを伝えることではないと彼は考えた。「私たちが目指しているのは、その人物を本当によく知っている時に感じ取れる微妙な要素、例えば雰囲気のようなものを捉えることです」と彼は言った。

もちろん、人類は何千年もの間、まさにこれと同じことをしてきました。最初は音声で、そして後に文字で。今日では、動画や絵文字がデジタル会話の感情的な輪郭を豊かにするのに役立っていますが、ウェルドン氏は、これらのコミュニケーション手段でさえ、電話の向こう側の人が本当に感じていることを伝えるのにほとんど役立っていないと主張しています。

真の感情的なつながりの欠如こそが、現在の政治情勢の根源だと彼は考えている。誤解、意見の相違、失恋、そして友情の崩壊の根源はそこにある。「私たちは小さなサイロの中に閉じ込められ、孤立してしまっています。他者の気持ちがどんなものか、全く理解できていないのです」と彼は言った。「欠けているのは、個人間の感情移入、つまり相手の気持ちを実際に感じ取れるような感覚なのです」

しかし、一つ問題があります。状態転送は信じられないほど複雑で、技術的な理由だけではありません。誰かに悲しみを伝えたり、愛していると伝えたりするのは比較的簡単です。しかし、相手に胸が締め付けられるような感覚や脈拍が速くなるような感覚を与えるには、スマートセンサーの集合体だけでは不十分です。生体認証データを、他の人が直感的に理解できる形に意味のある形で変換する方法が必要なのです。「大きな問題は、どうやって身体を正確に測定するのかということです」と、ベル研究所の新しい芸術技術実験研究室の責任者であるドムネイル・ハーノンは問いかけます。「そして、それを本当に説得力のある方法で表現するにはどうすればいいのでしょうか？」

ベル研究所は前者には優れていますが、後者はそれほど得意ではありません。そこでアーティストの出番です。

発散的思考

今春、ハーノン氏はベル研究所のキャンパスにある迷路のような廊下をアーティストとエンジニアのグループを率いて歩きながら、EATの重要性について説明しました。「訓練を受けた科学者は、思考において全く異なるアプローチをとっています」と彼は言いました。「私たちは還元主義的な思考ですが、アーティストは多様です。この2つのモードを融合させることで、非常に大きな力を発揮できるのです。」

ベル研究所にとって、EAT（左脳と右脳のギャップ）という陳腐な問題は、同社がEAT（現代社会）の復活に投資する中核を成しています。ハーノン氏は、アーティストとエンジニアを組み合わせることで、従来は研究に厳格な学術的アプローチをとってきたベル研究所のエンジニアたちが、創造性を垣間見て仕事について考え始めることができると考えています。「『光ファイバーケーブルで通信を改善する方法を考えたい』と言われたら、『0と1で世界記録の速度を出します』と答えるでしょう」とハーノン氏は言います。「私たちは、単独では正しい質問に答えることができません。」

EATレジデンシーの開始当初、アーティストたちは一種の科学的なスピードデートに参加しました。ベル研究所の研究者数名と会い、プロジェクトでどのような技術を活用したいかを検討しました。その狙いは、エンジニアが技術的な専門知識を提供し、アーティストが型破りなアイデア創出プロセスを提供することで、双方に有益なパートナーシップを築くことでした。

各プロジェクトは、ベル研究所の技術とは異なる何かを求めていた。「Blooming」作品では、パークは動き、心拍数、静電容量の微妙な変化を読み取​​るセンサー群から取得した生体認証データを芸術的に表現したいと考えていた。ニューヨーク市の監視カメラ映像から得た動きのベクトルを用いてペイントロボットの小部隊を制御するパフォーマンスアート作品「Omnia per Omnia」を手がけるソウウェン・チュンは、ベル研究所のモーションエンジンを用いてロボットの筆遣いをプログラムすることに興味を持っていた。そして、ハンマーステップのプロジェクト、「Indigo Grey: The Micah Grey Experiment」と呼ばれるインタラクティブなダンスパフォーマンスでは、人々が簡単なジェスチャーでドローンを無線制御できるモーショントラッキング技術が必要だった。「[一緒に仕事をする]エンジニアたちがオープンマインドであることが重要でした」とハンマーステップのジェイソン・オレムスは語った。「彼らが開発している技術に対して寛容さを持っていたのです。」

これら3つのプロジェクトは最終的な形は大きく異なりますが、ハードデータをより詩的なものへと変換する方法は共通しています。チョンにとって、人間とロボットの相互作用におけるニュアンスを明らかにすることが、このレジデンスの核心です。「このデータを抽出し、ロボットが表現できる絵画的なジェスチャーに変換するのは本当に面白いと思いました」と、ベル研究所のビデオ分析研究のほとんどが行われている70年代風のオフィスビル、ビル2の廊下で、彼女は仲間のアーティストや数人のエンジニアたちと立ちながら語りました。

壁には、アヒルの列のようにモニターの上に置かれた安価なカメラが、動き、周波数、奥行きから周囲の環境を計測し、そのデータをリアルタイムで画面に表示していた。ベル研究所の研究員で、チャン氏とハマーステップ氏が作品に使用しているモーションエンジン技術を開発したラリー・オゴーマン氏は、カメラを指差しながら、まさにその瞬間、ソフトウェアが少人数の集団を顔のない全体として捉え、滞在時間、密度、方向といったマクロなジェスチャーを分析し、そのデータを画面に表示される曲がりくねった線へと変換していると説明した。

これは、チョンがロボットを動かすために、そしてハマーステップがパフォーマンス中に観客の動きを追跡するために使用するのと同じ基本アルゴリズムだった。「ソウグエンが私のところに来て、何をしたいのかを伝えてくれたので、私は黒板に方程式を書きました」と彼は説明した。

R(t) = A(t) * P(t) * E(x,t)

「私たちが方程式を書いたのは、時刻Tにおけるアーティストであるソウグウェンが、時刻Tにおける観客と、そして環境と畳み込まれている、というものでした。こうすることで、彼女の作品を私が理解できる数学的な用語で表現できたのです。」

「まさに翻訳のプロセスでした」とチョン氏は語った。

センサレスセンシング

その日の午後遅く、アーティストとエンジニアたちはベル研究所の新興材料・部品・デバイス研究所に向かう途中、ビル2の廊下を歩いていると、モニター、ランプ、椅子が置かれた、殺風景な書斎のような小さな部屋を通り過ぎた。「ここには、朝食にドーナツを食べたかどうかを判断できるセンサーがあります」と、ベル研究所でビデオ分析グループを担当するリサーチディレクター、ポール・ウィルフォードは言った。ウィルフォードは半ば冗談めかして言った。現在、ベル研究所の無線技術は、朝食に何を食べたかを正確には判断できないが、複数のソースからのデータを分析することで、何かを食べたこと、そしてそれについて幸せ（または悲し）を感じていることは判断できるのだ。

「昨日、やっとこれが使えるようになったんです」と彼は壁に取り付けられた小さくて安っぽいカメラを指差した。「頬の2箇所と額の1箇所のわずかな色の変化から（心拍数を）測定できるんです」と彼は説明した。「あの安っぽい小さなカメラと、たくさんのアルゴリズム、たくさんのフィルタリング、そしてたくさんのネットワーク機器を使っています」

ベル研究所は、ネットワーク技術を通じて人間を「センサーレスに感知する」能力こそが、共感的コミュニケーションという目標の鍵だと考えています。テクノロジーが携帯電話から分離し、どこにでもいながらどこにもない、さりげなく浸透するようになれば、私たちは環境と自分自身の両方で何が起こっているかを真に理解できるインフラを手に入れることができるでしょう。

このビジョンは、エマージングマテリアルズ・ラボの中で、より鮮明になります。明るい部屋には、カラフルなワイヤーと、皮膚の内部を微細解像度で観察できる光学カメラがぎっしりと設置されています。アーティストたちが訪れた日、チームは「ザ・スリーブ」と呼ばれる製品のプロトタイプを開発中でした。これは、センサー、ワイヤー、そして触覚モーターが埋め込まれた伸縮性のある布で、アームウォーマーのように前腕に装着できます。

ハーノンはアーティストたちをラボへと案内した。そこには、エマージングマテリアルズラボの研究担当副社長、サンジェイ・パテルが、青い布で覆われた台座の横に立っていた。パテルは華麗な手つきで布を剥がし、「スリーブ」の初期プロトタイプを披露した。絡み合ったワイヤー、センサー、スクリーンが青い3Dプリントのアームに取り付けられており、半分人間、半分ロボットのような印象を与えた。

「新しいデバイスに関して言えば、革命の瀬戸際にいると思います」とパテル氏は腕を指さしながら言った。将来、人々はもはやあらゆることをスマートフォンに頼ることはないと彼は説明した。代わりに、私たちは周囲の環境や他者と、身に付けたり、埋め込まれたりした一連の個別デバイスを通してインタラクションするようになるだろう。「今日、私はどのように自分の世界をコントロールしているのでしょうか？」とパテル氏は問いかけた。「スマートフォンを取り出し、アプリを見て、画面上のボタンをいくつか押します。私たちが世界を計測する中で、今後実現したいのは、周囲の状況について第六感を持つことです。」

まだ量産段階には程遠い「スリーブ」は、皮膚を覗き込む光断層撮影センサーを通して、心拍数、血糖値、ストレスレベルといったバイオマーカーを読み取ることができる。パテル氏と彼の研究チームは「スリーブ」を単なる挑発的なものと捉えているものの、同時に、ガラスと金属でできた小さなレンガから解放される未来への正しい一歩だと考えている。それは、人々がジェスチャーで環境を制御し、感情的な体温測定に相当する触覚メッセージで愛する人とコミュニケーションをとる未来だ。

感情的な救助

数週間後、アーティストたちがマナに戻り、EATレジデンスの集大成となる「オンリー・ヒューマン」のオープニングの準備をしている時、パテルの「第六感」という言葉は、まるで聞き覚えのあるものに感じられた。ギャラリーにはベル研究所の技術の痕跡が確かに残っていたが、芸術の華やかさと抽象性に覆い隠されていた。

アーティスト風の人々がギャラリー内を歩き回り、エンジニアたちと交流したり、作品を興味深く鑑賞したりする一方で、アーティストたちが最初に抱いた疑問は依然として消えることはなかった。人間が言葉ではなく触覚でコミュニケーションをとったらどうなるだろうか？ロボットに人間的な協働感覚を吹き込むことはできるだろうか？音楽、リズム、そしてテクノロジーを通して共感を伝えることはできるだろうか？これらは10年越しの問いであり、芸術におけるBHAG（基本目標）に相当する。そして、たった1日の午後、あるいは1年間の滞在期間でさえ、答えは得られないだろう。

オープニングのひととき、パク氏の光るツリーの前の人工芝の周りに人々が集まった。年配の夫婦が靴を脱いで、プレートの上に立った。「結婚37年がどんな感じか、見てみよう」と男性は妻の手をぎゅっと握りしめながら言った。一秒、また一秒。木はピンクがかった白い花を咲かせたが、やがて地面に散り散りになった。

さらなるアートとテクノロジー

• エリザベス・スティンソンが MIT メディアラボの流体インターフェース グループについて報告します。

• ベル研究所は1970年代にコンピューターの達人たちを雇用しました。その方法をご紹介します。

• ダグラス・クープランドは4年前、ベル研究所がアルカテル・ルーセントというブランド名だったときに同社を訪問した。

• 『Idea Factory』という本は、ベル研究所の革新の歴史として役立ちます。

役立つニュースやレビューをもっと知りたいですか？Gadget Lab ニュースレターにご登録ください。