さあ、AIフィルターをすり抜けて悪質な言葉を研究に取り入れてみよう

Facebookの人工知能研究者たちは、人間の狡猾さをアルゴリズムに取り入れることで、アルゴリズムをより賢くする計画を立てています。彼らは、その策略を提供するためにあなたの協力を求めています。

木曜日、FacebookのAIラボは「Dynabench」と呼ばれるプロジェクトを立ち上げました。これは、人間がAIシステムを翻弄する、いわば剣闘士競技場のようなものです。課題には、感情スコアリングシステムを誤作動させるような文章の作成、例えば実際には肯定的なコメントを否定的に解釈させるといったものがあります。また、ヘイトスピーチフィルターを欺くという課題もあり、これはティーンエイジャーや荒らしの標的となる可能性があります。このプロジェクトは当初、テキスト処理ソフトウェアに焦点を当てていますが、将来的には音声、画像、インタラクティブゲームなど、他の分野にも拡張される可能性があります。

AIを人間による挑発にさらすことは、人工知能の知性（そして愚かさ）をより正確に測定し、AIの性能向上に役立つデータを提供することを目的としています。研究者は通常、ベンチマークと呼ばれる標準的なデータ集合を用いて、画像ラベルの精度や多肢選択式の質問への回答精度を採点することで、アルゴリズムを比較します。

Facebookの研究者であるダウ・キエラ氏は、こうしたテストは彼やこの分野の他の研究者が本当に重視していることを測るものではないと指摘する。「私たちが本当に関心を持っているのは、人間とやりとりする際にどれくらいの頻度で間違いを犯すかということです」と彼は言う。「現在のベンチマークでは、AIにおける言語処理は驚くほど優れているように見えますが、それは大きな誤解です。なぜなら、私たちにはまだやるべきことがたくさんあるからです。」

研究者たちは、AIが人間に騙された事例を分析することで、アルゴリズムが複製されにくくなることを期待している。

キエラ氏は、AIの専門家も一般のネットユーザーも、AIと対戦して仮想バッジを獲得する楽しみを味わえることを期待している。また、このプラットフォームでは、研究者がAmazonのクラウドソーシングサービス「Mechanical Turk」を通じて貢献料を支払うことも可能だ。スタンフォード大学、ノースカロライナ大学、ロンドン大学ユニバーシティ・カレッジのAI研究室は、いずれもDynabenchプラットフォーム上で人工知能テストを実施する予定だ。

Facebook のプロジェクトは、ソーシャル ネットワークの人工知能担当副社長を含む多くの AI 研究者が、コンピューターが複雑な現実世界の状況に対処できるようになるには、この分野の視野を広げる必要があると述べている中で始まった。

過去8年間で、ディープラーニングと呼ばれるAI技術の飛躍的な進歩により、ほぼ確実に機能する音声認識、犬の写真を自動分類するスマートフォン、そしてSnapchatの面白いフィルターなどが消費者にもたらされました。アルゴリズムは不気味なほどに鮮明なテキストを解読することもできます。

しかし、ディープラーニングソフトウェアは、その狭い範囲の訓練範囲外の状況ではつまずくことがあります。最高のテキスト処理アルゴリズムでさえ、皮肉といった言語のニュアンスや、文化的文脈によって言葉の意味が変化する可能性によって、つまずく可能性があります。これらはFacebookのヘイトスピーチ検出機能にとって大きな課題です。テキスト生成器は、現実離れした無意味な文章を生成することがよくあります。

AI研究で用いられる標準的なベンチマークを見ると、こうした限界は見えにくいかもしれません。近年、AIの読解力に関する一部のテストは、アルゴリズムが人間を上回るほどの高得点を獲得する方法を編み出したため、再設計され、より難易度が高くなることが求められています。