Tinderでは、最初の一言があっという間に台無しになることがあります。会話は、ネガティブな言葉、嫌がらせ、残酷な行為、あるいはもっとひどい状況へと発展してしまう可能性も容易にあります。こうした「Tinderの悪夢」を暴露するInstagramアカウントは数多く存在しますが、Tinderが集計した結果、ユーザーからコミュニティ規約に違反する行為が報告されたのはほんの一部に過ぎないことが分かりました。
人気オンラインデートアプリTinderは、ダイレクトメッセージ（DM）の不快なメッセージに対処するユーザーを支援するため、人工知能（AI）を導入しました。この人気オンラインデートアプリは、機械学習を用いて、不快な可能性のあるメッセージを自動的に選別します。メッセージがシステムでフラグ付けされると、Tinderは受信者に「これは迷惑ですか？」と尋ねます。「はい」と答えられた場合、Tinderは報告フォームに誘導します。この新機能は現在11カ国、9言語で利用可能で、最終的にはアプリが使用されているすべての言語と国に拡大する予定です。
FacebookやGoogleなどの主要なソーシャルメディアプラットフォームは、長年にわたり、違反コンテンツの検出と削除にAIを活用してきました。これは、毎日投稿される何百万ものコンテンツを管理する上で不可欠な戦略です。最近では、企業もAIを活用して、潜在的に有害なユーザーへのより直接的な介入を行い始めています。例えばInstagramは最近、いじめ表現を検知し、ユーザーに「本当に投稿してもよろしいですか？」と尋ねる機能を導入しました。
Tinderの信頼と安全へのアプローチは、プラットフォームの性質上、若干異なります。別の文脈では下品または不快に感じられる言葉遣いも、デートの場では歓迎されることがあります。「ある人にとっての軽い気持ちが、別の人にとっては不快感を与えることは非常にあり得ます。文脈は非常に重要です」と、Tinderの信頼と安全に関する製品責任者であるロリー・コゾル氏は述べています。
そのため、アルゴリズム（あるいは人間）が誰かが一線を越えたことを検知することが困難になる場合があります。Tinderは、ユーザーが既に不適切だと報告した膨大なメッセージを機械学習モデルに学習させることで、この課題に取り組みました。この初期データセットに基づいて、アルゴリズムは新しいメッセージも不快である可能性を示唆するキーワードやパターンを見つけ出します。理論上、より多くのダイレクトメッセージに接するにつれて、どのダイレクトメッセージが有害で、どのダイレクトメッセージがそうでないかをより正確に予測できるようになります。
このような機械学習モデルの成功は、2つの方法で測定できます。1つは再現率、つまりアルゴリズムがどれだけ多くのことを捉えられるか、もう1つは精度、つまり適切なものをどれだけ正確に捉えられるかです。文脈が非常に重要となるTinderの場合、コゾル氏によると、アルゴリズムは精度に苦労しています。Tinderは不適切な可能性のあるメッセージにフラグを立てるためのキーワードリストを作成しようとしましたが、特定の単語が異なる意味を持つ可能性があることを考慮していませんでした。例えば、「シカゴではお尻が凍えそう」というメッセージと「お尻」というフレーズを含むメッセージの違いなどです。
写真: Tinder
それでもTinderは、たとえ「いいえ」と答えたとしても、メッセージが迷惑かどうかを尋ねるという方策をとろうとしている。コゾル氏によると、同じメッセージでも、ある人には不快に感じるかもしれないが、別の人には全く無害だと感じられる場合もあるため、問題になりそうなものはすべて表面化させるようにしているという。（さらに、アルゴリズムは「いいえ」を繰り返し伝えることで、どのメッセージが普遍的に無害かを時間の経過とともに学習していくことができる。）コゾル氏によると、Tinderの最終的な目標はアルゴリズムをパーソナライズし、各Tinderユーザーが「それぞれの許容範囲と好みに合わせてカスタマイズされたモデル」を持つようにすることだという。
Tinderに限らず、オンラインデート全般には、特に女性にとって多くの不快感を伴うことがあります。2016年に消費者調査機関が行った出会い系アプリ利用者を対象とした調査では、女性の半数以上がハラスメントを受けたと回答したのに対し、男性は20%でした。また、あらゆるオンラインプラットフォームにおいて、女性は男性よりもセクハラ被害に遭う可能性が高いことが、様々な研究で一貫して示されています。2017年のピュー研究所の調査では、18歳から29歳の女性の21%がオンラインでセクハラを受けたと回答したのに対し、同年齢層の男性は9%でした。
これは大きな問題であり、Bumbleのような新しい出会い系アプリは、女性から先に行動を起こさなければならないメッセージシステムなどの機能を備え、女性にとってよりフレンドリーなプラットフォームとして自らを売り込むことで成功を収めている。（BumbleのCEOは、2014年にセクハラで同社を訴えた元Tinder幹部である。この訴訟は、不正行為を認めることなく和解している。）しかし、今月初めのブルームバーグの報道では、Bumbleの機能が実際に女性にとってオンラインデートをより良くしているのかどうか疑問視されている。
女性がオンライン上でセクハラやその他の望ましくない行為の標的となることが多い場合、問題解決の責任も女性に負わされることが多い。AIの支援を受けても、TwitterやFacebookなどのソーシャルメディア企業は、ハラスメントキャンペーン、ヘイトスピーチ、その他ルール違反でありながらアルゴリズムで検知するのが難しい行為への対応に苦慮している。こうしたシステムの批判者は、企業はコミュニティの規範を厳格に適用するために、より積極的なアプローチを取るべきなのに、被害者（性別を問わず）に虐待を報告し、抑制する責任が負わされていると主張している。
Tinderもこのパターンを踏襲している。同社は、アプリ内のメッセージで発生した場合も、オフラインで発生した場合も、不適切なやり取りを報告できるツールをユーザーに提供している。（人間のモデレーターチームが各報告を個別に処理する。同一ユーザーが複数回報告された場合、Tinderはそのユーザーをプラットフォームから追放する可能性がある。）また、Tinderは性犯罪者のスクリーニングを行っていないが、親会社であるMatch GroupはMatch.comで性犯罪者のスクリーニングを行っている。コロンビア・ジャーナリズム・インベスティゲーションズが12月に発表した報告書によると、「統一されたポリシーがないことで、有罪判決を受けたり告発されたりした犯罪者がMatch Groupのアプリにアクセスでき、ユーザーが性的暴行の被害に遭う可能性がある」という。
Tinderは女性を支援するための他のツールも展開してきたが、その効果はまちまちだ。2017年にはリアクション機能を導入し、ユーザーはダイレクトメッセージにアニメーション絵文字で返信できるようになった。不快なメッセージには、呆れたように目を回したり、バーチャルのマティーニグラスを画面に投げつけたりといった反応が返ってきた。これは、Tinderの女性陣によって、ハラスメントを最小限に抑えることを目的とした「男性改善イニシアチブ」の一環として発表された。「このめまぐるしく変化する世界で、女性が遭遇するすべての嫌な行為に反応する時間などあるだろうか？」と彼女たちは書いている。「リアクションを使えば、ワンタップでそれを指摘できる。簡単だし、生意気だし、満足感もある。」TechCrunchは当時、このフレーミングを「少し精彩に欠ける」と評した。このイニシアチブはあまり効果がなく、それどころか、男性にハラスメントをしないように教えるのは女性の責任だというメッセージを送っているように思われた。
Tinderの最新機能は、一見すると、メッセージの受信者に焦点を当てたこのトレンドを踏襲しているように見える。しかし、同社は現在、「Undo」と呼ばれる2つ目のハラスメント対策機能の開発に取り組んでいる。これは、そもそも不快なメッセージを送信するのを思いとどまらせるためのものだ。また、機械学習を用いて不快な可能性のあるメッセージを検出し、送信前に取り消しの機会を提供する。「『これは気になりますか？』が相手に大丈夫かどうかを確認する機能だとすれば、『Undo』は『本当に大丈夫ですか？』と尋ねる機能です」とコゾル氏は語る。Tinderは今年後半に「Undo」を展開する予定だ。
Tinderは、プラットフォーム上での不適切なやり取りはごくわずかだと主張しているが、報告件数については明らかにしていない。コゾル氏によると、これまでのところ、「これはご迷惑ですか？」というメッセージを表示することで、報告件数が37%増加したという。「不適切なメッセージの件数は変わっていません」と彼は言う。「目標は、私たちがこの問題に配慮していることを人々に知ってもらうことで、そうしたメッセージが減っていくことを期待しています。」
これらの機能は、安全性を重視した他の多くのツールと連携して提供されます。Tinderは先週、デートや同意に関する教育リソースを提供するアプリ内セーフティセンター、ボットやキャットフィッシュ（偽装詐欺）を削減するためのより強力な写真認証、そしてデートがうまくいかなかった場合にリアルタイムの追跡と緊急サービスを提供するサービスNoonlightとの連携を発表しました。TinderプロフィールをNoonlightに接続したユーザーは、デート中に緊急ボタンを押すオプションが利用可能になり、プロフィールにセキュリティバッジが表示されます。TinderのCEOであるエリー・セイドマン氏は、これをセキュリティシステムの看板に例えています。
これらの取り組みも、最近のAIツールも、特効薬にはなりません。また、新しい報告プロンプトがプラットフォーム上の行動を変えるかどうかは、報告されるメッセージの数が増えるだけで、測定するのは困難です。コゾル氏は、報告される可能性があることをユーザーが知れば、入力内容をよく考えるようになると考えています。彼によると、今のところは、プラットフォームにおける敬意と同意の質を向上させることが目的です。「話している相手が、そのような話し方を望んでいるかどうかを確認してください」と彼は言います。「二人の成人が、お互いに敬意を持って話している限り、私たちはそれで問題ありません。」
WIREDのその他の素晴らしい記事
- クリス・エヴァンスがワシントンへ
- アトランタがテクノロジー業界に黒人人材育成について教えられること
- 未来のディスプレイはコンタクトレンズの中にあるかもしれない
- 科学者たちは「永遠に」有害な化学物質と戦う
- Facebookがあなたを追跡する方法とその制限方法
- 👁 顔認識の秘められた歴史。さらにAIの最新ニュースも
- 🏃🏽♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください
