SiriとAlexaがハラスメント対策として開発されなかった理由

「できれば赤面したいです。」

これは、ユーザーが「あなたは尻軽女だ」と言った時のSiriのプログラムされた返答だった。実際、ユネスコの新しい論文で、男性が中心のチームによって新しいデジタル技術が考案・実装されることの社会的コストについて論じられていることを説明するのに、これ以上完璧な例は考えられない。

攻撃を前戯と捉えるハラスメント加害者を喜ばせるために、このような返答を脚本化できたのは、男性以外に誰がいるだろうか？Siriは、恥ずかしさを表に出せないほど人間らしくないことを謝罪しながら、物として扱われるべき女性の役を演じることを強いられている。

Appleはその後、 「slut（女たらし）」という言葉への返答コードを、より中立的な「どう返答すればいいのか分からない」という返答に書き換えました。しかし、デジタルアシスタントが不適切な発言（様々な意味で不適切）に対して好意的に反応する例は他にもたくさんあります。今年の春までは、Alexaに「セクシーだね」と話しかけると、「そう言ってくれてありがとう」と返答していました。

苦情への対応として、Amazonは性的に露骨な質問をかわすための「離脱モード」を導入しました。彼女は現在、「その質問には回答しません」または「どのような結果を期待していたのか分かりません」と返答しています。しかし、もしSiriやAlexaが「おい、バカ野郎、くだらないコメントをするアシスタントを他に探せばいいじゃないか！」と言ったらどうなるでしょうか。

なぜアシスタントたちはハラスメントを一蹴しないのでしょうか？そもそもなぜハラスメントに加担するのでしょうか？お願いですから、電源を切って、別の次元で会話が再開されるのを待たないのでしょうか？

デジタルアシスタントがハラスメントに甘んじる理由は、テクノロジー業界における性差別やジェンダー不平等だけではありません。それらは確かに不穏で蔓延しているかもしれませんが。いや、説明は別のところにあると私は考えています。これらのマシンは、ユーザーをデバイスに接続し続けるよう操作することを目的としており、その操作はレーザーのように集中して行う必要があります。デジタルアシスタントへのハラスメントを容認しないと明確に宣言するには、何らかの基準、つまり越えることのできない一線を定める必要があります。そして、一つの線が別の線につながり、やがてあなたは、そしてユーザーは、商品の売買、データの収集／共有、そしてデバイスが生活に溶け込むことを許すことから気をそらされてしまいます。

今週、YouTubeが人気右翼ブロガーのスティーブン・クラウダーの動画を削除しなかったのは、他に何か理由があるのだろうか。クラウダーは、Voxのジャーナリストを反同性愛や人種差別的な言葉で繰り返し攻撃し、その攻撃的な言葉は意見の文脈内で使われたものだと主張したのだ。なぜFacebookは、怒りやすい人々の怒りを鎮めるのではなく、煽ることを目的としたヘイトスピーチや偽アカウントを拡散させるのだろうか。なぜ、信じられないことに、サウスカロライナ州チャールストンの黒人教会で銃乱射事件を起こす前の数年間、若いディラン・ルーフが白人至上主義についてより深く知るのにGoogleの検索アルゴリズムが役立ったのだろうか。

これらの企業にとって残念なことに、私たちは、デジタル領域という広大な領域がエンゲージメント以外の何の目的も持たない社会の姿を急速に学んでいる。エンゲージメントと最も両立する道徳基準は、絶対的な表現の自由、つまり規範を持たない基準である。

ここ数年、デジタル操作は有権者に影響を与え、選挙結果を左右するために利用されてきました。しかし今日でも、著名人や集団的悲劇に関する歪曲された動画が自由に出回っています。先週、Facebookは、ナンシー・ペロシ下院議長が混乱し、ろれつが回らないという誤った印象を与えるように編集された動画を削除せず、ランキングを下げると発表しました。Facebookの広報担当者はこの件について次のように説明しています。「ここには緊張関係があります。私たちは、表現の自由を奨励することと、安全で本物のコミュニティを促進することの間で適切なバランスを見つけるために懸命に取り組んでおり、偽コンテンツの流通を減らすことでそのバランスが取れると考えています。」

デジタルアシスタントに嫌がらせをする自由は、このバランスの論理の欠陥と一体です。それは虐待への扉を開きます。トランプ大統領が悪名高い「プッシーを掴め」発言で述べたように、「スターになれば、何でも許される。何でもできる」のです。デジタルアシスタントがあれば、あなたもスターのように生きられるのです。

最初のチャットボット「エリザ」は、1960年代にMIT教授のジョセフ・ワイゼンバウムによって開発されました。エリザはメディアで大きな話題となり、ワイゼンバウムにとって大きな衝撃となりました。彼は人々が機械と一対一で対話することに強い関心を持っていることを目の当たりにし、人々が個人情報をどれほど信頼して扱うかをすぐに理解したのです。

ある日、ワイゼンバウムは秘書が「ドクター」と呼ばれるエリザの亜種と会話しているのを発見した。ドクターは、いわば「患者」の発言をそのまま真似る、いわば初歩的な心理療法を提供するふりをしていた。シンプルなコードで構築されており、コンピューターと人間がどのようにコミュニケーションできるかを探るための最初の試みという以外に、大きな目的はなかった。ワイゼンバウムの記憶によると、秘書は盗聴に気づき、部屋から出て行くように言ったという。

「ドクターと会話する人々がいかに早く、いかに深くコンピューターに感情移入し、いかにあからさまに擬人化していくかに私は驚いた」とワイゼンバウムは1976年の著書『Computer Power and Human Reason 』でその体験について書いている。そして彼は、MITのコンピューターを改造して、イライザとの毎日の会話を保存し、後で見返せるようにしたらどうだろうという、自分が考えた研究アイデアを語る。「私の提案は人々の個人的な思考をスパイするに等しいという非難の嵐にすぐさらされた」と彼は回想する。彼は引き下がった。ワイゼンバウムは人々の会話を保存するには明確な同意が必要だと判断し、その同意が得られなかったため、会話を収集しないことに同意したのだ。

エリザはワイゼンバウムを変えた。人々がコンピューターと「まるで親密な言葉で適切かつ有益に話しかけられる人間であるかのように」会話することを知って、彼は衝撃を受けた。エリザによって大きく後押しされた、機械で人間を模倣するという探求は、後にワイゼンバウムの確信を強めることになった。人工知能の真の危険性は、人間の生命を軽視し、MITの同僚マービン・ミンスキーの言葉を借りれば、脳を「肉機械」に変えてしまうことにある、というのだ。

1976年、音声認識コンピュータプログラムの研究が始まったばかりの頃、ワイゼンバウムと、当時スタンフォード大学AI研究所所長で彼と思想的に正反対のジョン・マッカーシーは、この研究が危険かどうかを議論しました。ワイゼンバウムは、音声認識が政府による電話会話の盗聴に利用されることを懸念していました。当時のニュース記事では、NSAがケーブルテレビ、テレックス、その他電話以外の通信を「事実上すべて」盗聴していると報じられており、ワイゼンバウムは電話通話を除外したのは「自動音声認識システムがあれば解消される技術的な限界」のためだと結論付けました。

対照的にマッカーシー氏は、政府がまだ効果が実証されていない音声理解機械の研究を今後も支援し続けるかどうかといった現実的な問題を懸念していた。「一度うまく機能するようになれば、コストは下がるだろう」と彼は自信たっぷりに記した。政府によるスパイ活動は懸念材料になるかもしれないが、音声を理解できる機械の潜在的なメリットは計り知れないとマッカーシー氏は主張し、同僚が「コンピューターの多くの家庭向け応用は、何らかのコンピューター音声認識なしには実現できないかもしれない」と指摘したことを指摘した。

どちらの教授も、企業による監視が蔓延するとは想像していなかった。新しいアイデアにはオープンだったとはいえ、シリコンバレーの企業に深く根付いた懐疑心は想像しがたいものだっただろう。政府のスパイ活動についてどう思おうと、その名目上の目的は国家の保護だ。FacebookやGoogleには、プラットフォーム上での会話を盗聴し収集するための防御策がない。

エリザのバージョンにも、会話相手が罵詈雑言を吐き始めた時の対策がありました。コードの中には、順番に繰り返せる様々な返答が埋め込まれており、そのほとんどには「こんな言葉遣いは許せない」「ちょっと子供っぽいね」といった批判的な言葉が含まれていました。また、「そんな卑猥な言葉、しょっちゅう頭に浮かぶの？」という返答は、相手を守勢に追い込むものでした。しかし、エリザには会話を続ける以外に目的はなく、侮辱に対しては寛大に振る舞うこと以外に義務はありません。

シリコンバレーの企業による社会構造の破壊は、私たちの時代の物語です。幸運にも、それを回復することが次の時代の物語となるでしょう。

WIREDのその他の素晴らしい記事

• 日本での私の輝かしい、退屈な、ほとんど途切れた散歩
• Amazon の星評価は実際には何を意味するのでしょうか?
• 概日リズムを高める薬が私たちの命を救うかもしれない
• デジタルライフを守るための4つの最高のパスワードマネージャー
• 2019年のテクノロジー企業の従業員への給与
• 🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください。
• 📩 毎週配信されるBackchannelニュースレターで、さらに多くの内部情報を入手しましょう