Facebookの社員が語るFacebookの改善方法

2019年12月、 Facebookが2020年の大統領選挙の混乱に備えようとしていた頃、社内ディスカッションサイトに1つの投稿が掲載されました。タイトルには「私たちはバイラルコンテンツの責任を負っています」と書かれていました。投稿者は、Facebookのアルゴリズム設計が低品質コンテンツのバイラル化をどのように助長しているかを詳しく説明し、最後にいくつかの提言を述べています。その中には、「エンゲージメントを最適化してから悪い体験を排除しようとするのではなく、良い体験をより正確に最適化すべきです」という内容も含まれていました。

当たり前のように聞こえるかもしれない。 「良い体験のために最適化する」ということだ。しかし、Facebookがそれに無関心であることは、「Facebook文書」において一貫して強調されている。これは、元従業員で内部告発者となったフランシス・ホーゲン氏が暴露した内部文書で、最近議会で証言した。ウォール・ストリート・ジャーナルが最初に報じたこのファイルは、 ホーゲン氏が証券取引委員会に提出した開示情報に含まれており、彼女の法律顧問によって編集された形で議会に提出された。編集されたバージョンは、WIREDを含む報道機関の連合によって検証された。

これらの文書は、Facebookの従業員たちが、同社の中核アルゴリズムが怒り、憎悪、そしてバイラルクリックベイトを助長し、コンテンツモデレーションシステムが極めて不十分であるという事実に苦悩している様子を明らかにしている。また、これらの欠陥を修正するための思慮深い提案も満載されている。つまり、Facebookとマーク・ザッカーバーグにとって、もし彼らがそれを見る気があれば、朗報となるかもしれない。同社の最大の問題のいくつかを解決するための青写真が、この文書には含まれているのだ。

製品を良くする

Facebookの従業員の多くは、同社がユーザーエンゲージメント以外のプラスの価値を追求できていないことに同意しているようだ。2020年に公開された「ユーザーエンゲージメント≠ユーザーバリュー」というタイトルの文書のように、この考え方が明確に表現されている場合もある。著者は、ユーザーをFacebookやInstagramに釘付けにすることが必ずしも良いことではない理由を説明した後、考えられる解決策を検討している。「質の高い文化が強固であれば、おそらく役立つだろう」と、辛口ながらも控えめな表現で結論づけている。著者はさらに、Facebookが2014年に買収したWhatsAppを例に挙げ、エンゲージメントを最適化するための機能テストではなく、「ユーザークオリティの認識に基づいてすべての製品決定を行う」ことで成功したプラットフォームを構築した企業として挙げている。

他のファイルでは、研究者は、製品の変更を行う際に企業の経営陣がエンゲージメント以外の要素にほとんど注意を払っていないことを間接的にしか認めていません。これは、著者だけでなく、コメントセクションで続く同僚との広範な議論においても説明を必要としないほど明白な事実として扱われています。 2019 年のある社内投稿のディスカッション スレッドでは、ある人物が「製品の変更が、バイラリティの促進であれ、パーソナライゼーションの向上であれ、その他何であれ、測定可能な深刻な害（既知の誤情報、予測される憎悪など）を増大させる場合、それが実際に行うべき良い変更であるかどうか、よく考える必要がある」と示唆しています。 2019 年の別の投稿では、研究者が、Facebook の推奨事項によってインドのダミー アカウントが「生々しい暴力や死体の写真を含む分極化した国家主義的なメッセージの海に」送られた実験について説明しています。著者は、「製品チームが製品の発売時に『整合性レビュー』のようなことに取り組むことは価値があるだろうか（例：新製品/機能によって生じる可能性のある最悪/最も可能性の高い悪影響をすべて考え、それを軽減する）？」と疑問を抱いています。

Facebookが自社の製品がユーザーや社会に与える影響を無視していると非難するのは、もはや陳腐な言い回しと言えるでしょう。しかし、社内からの指摘となると、その指摘はより一層痛烈なものとなります。

Facebookはこの疑惑を否定している。「これらの報道の根底にある前提は誤りです」と広報担当のケビン・マカリスター氏はメールで述べた。「確かに私たちは企業であり、利益を上げています。しかし、人々の安全や幸福を犠牲にして利益を上げているという考えは、私たちの商業的利益がどこにあるのかを誤解しています。」

一方、同社は最近、2019年の文書で指摘されていた批判を正当に認めた。「以前は、製品開発プロセスの早期段階で安全性とセキュリティの課題に対処していませんでした」と、2021年9月のブログ投稿で述べている。「むしろ、特定の不正行為に対応して事後対応的に改善を行っていました。しかし、私たちはそのアプローチを根本的に改めました。現在では、安全性とセキュリティの問題に特化したチームを製品開発チームに直接組み込むことで、製品開発プロセスの後ではなく、そのプロセスの中でこれらの問題に対処できるようになっています」。マカリスター氏は、このプロセスの下で展開された製品の例として、今年導入されたLive Audio Roomsを挙げた。

もしそれが本当なら、それは良いことだ。しかし、Facebookが長年にわたり主張してきた同様の主張は、必ずしも検証に耐えてきたわけではない。同社が新たなアプローチに真剣に取り組むのであれば、もう少し教訓を吸収する必要があるだろう。

AIで全てを解決できるわけではない

FacebookやInstagramでは、特定の投稿、グループ、ページの価値は、主にあなたがそれをどれだけ見たり、いいねしたり、コメントしたり、シェアしたりする可能性によって決まります。その可能性が高ければ高いほど、プラットフォームはそのコンテンツをあなたにおすすめし、フィードに表示する可能性が高くなります。

しかし、人々の注目を集めるものは、彼らを激怒させたり、誤解させたりするものに偏っている。これは、質が低く、怒りを煽り、極端に党派的なパブリッシャーがFacebookで成功を収める理由を説明する一因となる。2020年9月の内部文書の一つには、「誠実性の低いページ」のフォロワーの大半はニュースフィードのおすすめから獲得していると記されている。別の文書には、Facebookの研究者が2019年に「キャロル」というダミーアカウントを作成し、ドナルド・トランプと数人の保守系パブリッシャーをフォローさせた実験について記述されている。数日のうちに、Facebookはキャロルに対しQAnonグループへの参加を促していた。

Facebookはこうした動向を認識している。ザッカーバーグ自身も2018年に、コンテンツはプラットフォームのルールに違反するほどエンゲージメントが高くなると説明している。しかし、エンゲージメントを最適化することの賢明さを再考するのではなく、Facebookは主に、人間のレビュー担当者と機械学習を組み合わせて、不適切なコンテンツを見つけ出し、削除またはランクを下げるという解決策をとってきた。同社のAIツールは世界最高水準であると広く認識されており、最高技術責任者（CTO）のマイク・シュローファー氏が2月にブログに投稿した記事では、2020年の最後の3か月間に「Facebookから削除されたヘイトスピーチの97%は、人間がフラグを立てる前に、当社の自動システムによって発見された」と主張している。

しかし、内部文書はより悲観的な状況を描いている。2020年4月のプレゼンテーションでは、Facebookによる削除によって、暴力描写の全体的な出現率が約19%、ヌードやポルノが約17%、ヘイトスピーチが約1%減少したとされている。ウォール・ストリート・ジャーナルが以前報じた2021年3月のファイルは、さらに 悲観的な見方を示している。このファイルの中で、同社の研究者は「Facebookは世界最高水準の対策を講じているにもかかわらず、ヘイトスピーチの3～5%、暴力や扇動行為の約0.6%しか対処していない可能性がある」と推定している。

これらの統計は全体像を物語っているわけではありません。削除や降格以外にも、悪質なコンテンツへの露出を減らす方法はあります。Facebookは、削除率よりも、問題となるコンテンツの全体的な蔓延率の方が重要だと正当に主張し、過去3四半期でヘイトスピーチを50%削減したと述べています。もちろん、この主張を検証することは不可能です。いずれにせよ、内部文書は、同社の公式声明の一部が、プラットフォームの監視体制の厳しさを誇張していることを明確に示しています。

内部文書を総合すると、Facebook の核となるアプローチ、つまりエンゲージメントに基づいてコンテンツをランク付けし、その後で他のノブを調整してさまざまなカテゴリを除外するというアプローチは、単純にあまりうまく機能していないことが示唆されます。

有望な代替案の一つは、複数の内部文書で「コンテンツに依存しない」変更と呼ばれているものに重点を置くことです。これは、投稿をスキャンして問題のあるコンテンツ自体を見つけるのではなく、有害コンテンツに関連するパターンを探し出し、それらのパターンを取り締まるための変更を加えるアプローチです。簡単な例としては、Twitterがリツイートする前にユーザーに記事を読むよう促す機能があります。Twitterは記事の内容を知る必要はなく、共有前にリンクをクリックしたかどうかを知るだけで済みます。（Facebookはこの機能のバージョンをテストしています。）政治や健康情報など特定のカテゴリを対象としたポリシーとは異なり、コンテンツに依存しない変更はすべてのユーザーと投稿に等しく適用されます。

Facebook はすでに、ある程度これを実行している。2018 年には、ユーザー間の「有意義なソーシャル インタラクション」を優先するようにアルゴリズムを変更した。MSI を最適化するということは、たとえば、多くのコメント (または怒った顔の絵文字) を生成した投稿が、ニュース フィードで大幅に押し上げられることを意味した。ウォール ストリート ジャーナルが 9 月に報じたように、 この変更には恐ろしい副作用があった。センセーショナルで怒りを呼ぶページや投稿が大幅に押し上げられ、その結果、出版社や政治家に対して、最低共通分母に対応しなければならないというプレッシャーが高まったのだ (どのような投稿が最も活発なコメント スレッドを生成するかを考えれば、これは驚くべきことではない)。言い換えれば、コンテンツにとらわれない悪い変更だった。特に問題だったのは、「ダウンストリーム MSI」と呼ばれる要素で、これは投稿にどれだけエンゲージするかではなく、他の人がその投稿にエンゲージできるように再共有する可能性を指す。研究者たちは、何らかの理由で、下流の MSI メトリックが「誤情報に大きく寄与している」ことを発見しました。

Facebookの功績として、文書には2020年に同社がこの問題に取り組もうとしたことが示されている。同社は社会問題や健康関連のコンテンツについて、下流のMSIによるランキング付けを停止した。研究者たちは、この措置により「社会に関する誤情報」が30～50%削減されると予測していた。マカリスター氏によると、さらに最近では、「犯罪や悲劇に関するコンテンツ、一部の危険地域（アフガニスタンなど）のコンテンツ、そしてCOVID-19に関するコンテンツ」について、下流のモデルをオフにしたという。しかし、同社はまだそれ以上のことをする可能性もある。2020年4月の文書によると、インテグリティチームのメンバーがザッカーバーグCEOに下流のMSIを全面的に廃止することを提案したが、CEOは「MSIへの影響との重大なトレードオフがある場合」、つまりエンゲージメントの低下につながる場合は、変更を「広範囲に行う」ことに消極的だった。

文書によると、ダウンストリームMSIよりもさらに大きな危険信号は、同社が「ディープリシェア」と呼ぶものだ。これは、誰かがシェアした後、さらに別の誰かがその人のシェアをシェアするなどして自分のフィードに表示される投稿だ。2020年1月のある研究論文は、「写真やリンクのディープリシェアは、一般的に見られる写真やリンクと比較して、誤情報である可能性が4倍高い」と報告している。2019年の別の社内レポートでは、写真に基づく誤情報に対して、ディープリシェアを無効にすると、ダウンストリームMSIを無効にするよりも2倍効果的であることを示唆する実験について説明している。しかし、Facebookはディープリシェアの推奨を「控えめに」拒否するとマカリスター氏は述べた。その理由は、この手法は「非常に露骨で、ポジティブで完全に無害な発言と、潜在的に扇動的または暴力的な言論を一緒に減らしてしまう」ためだ。

最後にもう1つ簡単な例を挙げましょう。ごく一部のユーザーがグループ招待の大部分を占めており、1日に数百、数千もの招待を送信していることがわかりました。グループはニュースフィードに表示される内容の主要な情報源であり、陰謀論や暴力扇動を広める効率的な手段となっています。2021年のある文書によると、2020年の選挙はドナルド・トランプ氏に不利に不正に操作されたという虚偽の主張に特化した「Stop the Steal」グループのメンバーの0.3%が、招待の30%を送信していました。BuzzFeed Newsが以前報じたこれらのスーパー招待者には、友達リクエストの半数が拒否されるなど、スパム行為の兆候が他にも見られました。1人のユーザーが送信できる招待と友達リクエストの数に上限を設ければ、Facebookが介入する前にこのような運動が広まるのは難しくなるでしょう。

しかし、フィードを真に改善するには、さらに抜本的な改革が必要になる可能性があります。ハウゲン議員は議会証言で、エンゲージメントに基づくランキング表示を、完全に逆時系列表示に置き換えるべきだと主張しました。つまり、フィードのトップには、フォローしている人の最新の投稿が表示されるようになるということです。

2019年10月の投稿で、当時Facebookのデータサイエンティストだったジェフ・アレンは、さらに別のアプローチ、つまり品質に応じてコンテンツをランク付けすることを主張している。信じがたいように聞こえるかもしれないが、アレンが退社直前に投稿し、MIT Tech Reviewで初めて報じられたホワイトペーパーで指摘しているように、これはすでに世界で最も成功している推奨アルゴリズムであるGoogle検索の基礎となっている。Googleがインターネットを征服したのは、そのPageRankアルゴリズムが、検索用語の出現頻度という大まかな指標だけでなく、他の著名なサイトからリンクされているかどうかという、コンテンツに依存しない信頼性の指標でウェブサイトを分類していたからだ。今日、Googleは検索結果のランク付けにPageRankを他の品質指標とともに使用している。

Facebookはすでにウェブをクロールし、ウェブサイトに品質スコアを割り当てています。これは「グラフ・オーソリティ」と呼ばれ、場合によってはランキングに組み込んでいます。アレン氏は、エンゲージメントに代えてグラフ・オーソリティを推奨の主要基準にすべきだと提言しています。記事の中で彼は、これにより良質なコンテンツに投資するのではなく、Facebookを操作しようとする怪しいパブリッシャーの問題が解消されると主張しています。信頼性や品質を最適化したアルゴリズムであれば、「フランシスコ教皇が世界に衝撃を与え、ドナルド・トランプを大統領候補として支持」というフェイクニュースが2016年のように数百万回ものビューを獲得することはないでしょう。独創性のないミームを投稿するページが氾濫する業界を抑制できるでしょう。2019年のある社内推計によると、当時Facebookのニュースフィードにおけるページビューの35～40%を占めていたのです。そして、より評価が高く、質の高い報道機関にとって、このアルゴリズムは間違いなく役立つでしょう。（情報開示：WIREDもこれに含まれます。）

Facebookのランキングアルゴリズムへのこうした変更は、需要側ではなく供給側の問題のあるコンテンツに対処することになる。検閲の疑いはほぼ回避できるものの、完全には回避できないだろう（共和党の政治家はしばしばGoogleの検索結果が偏っていると非難する）。また、言語分析に依存しないため、AIによるコンテンツモデレーションよりも米国以外の市場への展開が容易になるはずだ。これが、Facebookの従業員から得られる次の教訓につながる。

発展途上国の人々を二級利用者として扱うのをやめよう 

内部文書で明らかになった最も重要な点は、Facebookのユーザーの大多数が居住する非英語圏の多くの地域における安全性と誠実性への投資不足に関するものです。Facebookは、ヘイトスピーチの削除の90%以上がAIシステムを通じて積極的に行われていると頻繁に主張していますが、内部報告書によると、2021年1月時点でアフガニスタンではその割合はわずか0.2%でした。他の発展途上国でも状況は似ており、Facebookは適切な言語モデルの構築に必要な費用を投じる意思がないようです。

アラビア語はFacebookユーザーの間で3番目に多く話されている言語であるが、内部報告書によると、少なくとも2020年の時点では、同社は主要な方言のいくつかに堪能なコンテンツレビュアーさえ雇用していなかった。同年の別の報告書には、アラビア語圏のユーザーに対して、Facebookがテロコンテンツに対するポリシーを77％の割合で誤って適用していたという、ほとんど信じがたい調査結果が含まれている。米国ではFacebookの誠実さへの取り組みが多くの批判を受けているが、世界のほとんどの地域ではそのような取り組みはほとんど行われていない。Facebookはこの結論に異議を唱え、「当社の実績は、米国外での虐待行為を米国内と同じ強度で取り締まっていることを示している」とマカリスター氏は述べたが、根本的な事実を否定してはいない。私の同僚のトム・シモナイトが指摘するように、何億人ものユーザーは「事実上、世界最大のソーシャルネットワークの二級市民」なのだ。

最近の世論の厳しい監視によって、Facebookがこの傾向を打破することを期待したい。「世界をつなぐ」と約束する企業にとって、アメリカのユーザーに提供しているような最低限の品質管理ができない市場に参入する意味はない。

コンテンツポリシーを政治的配慮から保護する

外部の観察者らは長年にわたり、Facebookが一貫した原則ではなく、有力な政治家からの圧力に応じて意思決定を行っていると批判してきた。共和党からの抗議を受けて、Facebook幹部が質の低いパブリッシャーにペナルティを課すという提案を撤回した重要な瞬間は、長年にわたりニュースで繰り返し報じられてきた。

これは社内批判でもある。「コミュニケーションチームと公共政策チームは、(a)既存のコンテンツポリシーの施行、(b)新しいポリシーの起草、(c)アルゴリズムの設計に関する決定について、日常的に意見を求められている」と、あるデータサイエンティストは2020年12月、同社を退職する直前に記している。「これらのチームは、変更が有力な政治関係者に悪影響を与える可能性があると判断した場合、しばしば変更を阻止する」（Facebookはこの非難を否定し、公共政策チームはコンテンツ施行の決定に発言権を持つ多くのチームの一つに過ぎないと主張している）。

2020年9月に発表された別の文書では、この問題の解決方法について詳細なアプローチが示されている。「コンテンツポリシーのためのファイアウォール」と題されたこの文書は、まず、著者が多くの問題を引き起こしていると考えている組織構造を特定している。コンテンツポリシー責任者はグローバルポリシー責任者に報告し、グローバルポリシー責任者はグローバルアフェアーズ責任者に報告し、グローバルアフェアーズ責任者は最高執行責任者（COO）のシェリル・サンドバーグに報告し、サンドバーグは最終的にザッカーバーグに報告する。その結果、「対外的なチーム、特に公共政策チームは、コンテンツの施行とコンテンツポリシーの設計に関する意思決定において日常的に権限を与えられている」という。何を降格し、何を削除し、アルゴリズムをどのように調整するかという決定は、ザッカーバーグに届く前に、権力のある政治家を満足させることに関心を持つ3層の経営陣の承認を得なければならない。

研究者はシンプルな代替案を提示している。まず、コンテンツポリシーチームを、例えば中央製品サービス部門のような別の部門に報告し、その部門がザッカーバーグ氏に直接報告するという方法がある。そうすれば、政治的な動機による拒否権行使の回数は減るだろう。また、コンテンツチームへの指示をザッカーバーグ氏がより明確に受け取れるようになる。

第二に、著者は現状では、削除や降格といった特定の決定が「エスカレーション」される際に、公共政策部門を含むグループが関与することになる点を指摘している。簡単な解決策としては、こうしたエスカレーションの決定をコンテンツポリシーの範囲内に留めることが挙げられる。同様に、従業員はコンテンツルールの策定やアルゴリズムの変更における公共政策部門の関与を制限するべきだと主張している。「公共政策部門は、変更を評価する際に用いる一般原則について意見を述べることはできるが、その原則は文書化されなければならず、その解釈はコンテンツポリシー部門の責任のみとなる」。これはプロスポーツに少し似ている。NFLのチームオーナーはオフシーズン中にルール変更の投票を行うが、フィールドに出て審判に笛を吹くタイミングを指示するわけではない。

従業員は、ファイアウォールの導入が「Facebookの喫緊の課題解決に役立つだろう」と強く主張している。しかし、それが万能薬となることは明らかだ。メモには、GoogleとTwitterもファイアウォールを導入しており、「信頼と安全」チームを公共政策から分離していると指摘されている。これらの企業もスキャンダルから逃れられるわけではない。しかし、Facebookだけが、権力のある政治的アクターをなだめるために、自社のルールや明示された原則を常に曲げてきたことが示されている。

自分の研究をもっと真剣に行う

Facebookは大企業です。社内調査の結果や従業員の提案のすべてが耳を傾ける価値があるわけではありません。それでも、漏洩したファイルに表れた不満は、Facebookの経営陣が逆の方向に大きく踏み込んできたことを強く示唆しています。

これらの文書の公開は、明らかに同社に大きな頭痛の種をもたらした。しかし同時に、Facebook社は優れたアイデアを持つ非常に思慮深い人材を雇用していることも明らかにした。同社は彼らの意見にもっと耳を傾けるべきだろう。

WIREDのその他の素晴らしい記事

• 📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
• 巨大テック企業の黒人アメリカへの約束を検証する
• アルコールは誰も話したくない乳がんのリスクである
• 家族にパスワードマネージャーを使ってもらう方法
• フェイクニュースの偽写真に関する実話
• 最高のiPhone 13ケースとアクセサリー
• 👁️ 新しいデータベースで、これまでにないAIを探索しましょう
• 🎮 WIRED Games: 最新のヒントやレビューなどを入手
• 🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください