大手テック企業は信頼と安全を捨て去った。今、スタートアップ企業はそれをサービスとして売り戻している

過去1年間、テクノロジー業界全体で大規模なレイオフが続き、信頼と安全のチームは大きな打撃を受けました。しかし、ウクライナと中東で戦争が激化し、今後12ヶ月で50以上の選挙が実施される中、専門家は、オンライン上の安全を守るために設立された新興のスタートアップ企業が対応できないのではないかと懸念しています。

1年前、X（当時Twitter）が3,700人を解雇した際、この人員削減は大きな話題となりました。その中には、信頼と安全に関わる職務に就いていた数百人も含まれていました。その後、Meta、Alphabet、Amazonも同様の人員削減を実施しました。Xの人員削減は他のプラットフォームにも影響を与えたと、テクノロジー政策シンクタンク、Tech Global Instituteの創設ディレクターで、Metaの政策チームにかつて所属していたサブハナズ・ラシッド・ディヤ氏は主張します。「多くの点で、Twitterはうまく逃げおおせました」と彼女は言います。「だからこそ、他の企業は『大丈夫だよ。生き残って、悲惨な結果に直面することはない』と自信を持って言えるようになったのです。」

それでも、こうした削減の代償は、イスラエルとハマスの戦争への対応に大手プラットフォームが慌ただしく対応している様子からも、既に明らかと言えるでしょう。社内に信頼と安全を提供するチームを置き忘れた動きは、コンサルティング会社やスタートアップ企業にとって、新たなサービス、つまり信頼と安全を提供する機会を生み出しています。

これらの企業の多くは大手テック出身者によって設立・運営されており、プラットフォーム側が信頼と安全のサービスを「構築するのではなく、購入」するようにしていると、メタの元エンジニアで、最近アクセラレーターYコンビネーターから支援を受けたスタートアップ企業Sero AIのタルハ・ベイグ氏は語る。「市場には労働力がはるかに多く存在し、その労働力を買いたいと思う顧客もはるかに多くいるのです。」

しかし専門家は、信頼と安全性をアウトソーシングすることは、プラットフォームの実際の動作方法を変える権限を持たないチームに責任をアウトソーシングすることを意味すると警告している。

Metaの市民の清廉性チームの元メンバーであり、シンクタンクIntegrity Instituteの共同設立者兼エグゼクティブディレクターであるサハル・マサチ氏は、プラットフォームが主要機能をアウトソーシングすることで、製品を改善する能力が損なわれる可能性があると懸念している。信頼性と安全性の問題は、積極的なモデレーションよりも製品設計に大きく関わる場合がある。ユーザーはコンテンツを再共有できるべきだろうか？推奨アルゴリズムにおいて、様々な指標にどの程度の重み付けをすべきだろうか？「ベンダーは優秀かもしれないが、企業の業務のやり方によっては、そうした点について洞察することはできないだろう」とマサチ氏は言う。

企業が潜在的に危険なコンテンツや悪質なコンテンツの検出に活用するAIシステムについても同様です。プラットフォームは、膨大なデータを活用して、そのプロセスを効率化する社内ツールを構築することが多いと、信頼と安全を提供するプラットフォームTremauの共同創業者、ルイ＝ヴィクトル・ドゥ・フランシュ氏は述べています。しかし、これらの企業の多くは、システム構築に市販のモデルに頼らざるを得ず、新たな問題が生じる可能性があります。

「AIを販売していると謳っている企業もありますが、実際には様々なモデルを束ねているだけです」とフランスー氏は言います。つまり、ある企業は、例えばユーザーの年齢を検知するモデルと、児童性的虐待の可能性があるコンテンツを特定するためにヌードを検知するモデルなど、複数の異なる機械学習モデルを組み合わせて、顧客に提供するサービスに組み込んでいる可能性があるということです。

これによりサービスは安価になる可能性がある一方で、アウトソーサーが使用するモデルに問題があれば、その顧客全体に影響が及ぶことになると、民主主義と技術センターの研究員であるゲイブ・ニコラス氏は述べている。「言論の自由の観点から言えば、あるプラットフォームに誤りがあれば、他のプラットフォームに発言を持ち込むことはできません。誤りがあれば、その誤りはあらゆる場所に蔓延するのです。」この問題は、複数のアウトソーサーが同じ基本モデルを使用している場合、さらに深刻化する可能性があります。

また、重要な機能を第三者にアウトソーシングすることで、プラットフォームは、モデレーションの決定がどこで行われているのかを人々が理解しにくくなる可能性もある。また、主要プラットフォームを綿密に監視しているシンクタンクや非営利団体などの民間団体が、失敗の責任をどこに負わせるべきかを把握しにくくなる可能性もある。

「（視聴者の多くは）まるで大手プラットフォームが決定権を持っているかのように話しています。学術界、市民社会、そして政府の多くの人々が、まさにその点を批判の的にしているのです」とニコラス氏は言う。「私たちが間違った方向に批判の矛先を向けているかもしれないという考えは、恐ろしいものです。」

これまで、Telus International、Teleperformance、Accentureといった大手企業は、アウトソーシングされた信頼と安全に関わる業務の重要部分であるコンテンツモデレーションの管理を請け負ってきました。これはしばしばコールセンターのような業務で、多数の低賃金スタッフが投稿を手作業で解析し、ヘイトスピーチ、スパム、ヌードといったプラットフォームのポリシーに違反していないかを判断していました。しかし、信頼と安全に関わる新たなスタートアップ企業は、自動化や人工知能へと傾倒しつつあり、テロリズムや児童性的虐待といった特定のコンテンツやトピック領域に特化したり、テキストと動画といった特定の媒体に焦点を当てたりしています。また、クライアントが単一のインターフェースを通じて様々な信頼と安全のプロセスを実行できるツールを開発している企業もあります。

ベイグ氏によると、大手テクノロジー企業は信頼と安全性をコストセンターと捉えがちだ。規制当局や市民社会団体の監視を逃れるためにはやらなければならないことであり、金銭的な利益はそれほど大きくないからだ。しかし、状況はすぐに変わるかもしれない。例えば、欧州連合（EU）のデジタルサービス法や英国のオンライン安全法は、大手・中小企業を問わず、自社のプラットフォーム上で何が起こっているかを監視する新たな義務を課しており、これらの法律によって政府は巨額の罰金を科すことが可能になっている。

「企業は、プラットフォーム上のコンテンツのモデレーション方法を5%、10%、あるいは30%の効率向上のために変えることはありません」と、トレマウのフランスー氏は言う。「彼らのモチベーションとなるのは、罰金、特に世界年間売上高の6%にも及ぶような高額な罰金、あるいは英国で見られるような刑事責任を恐れることです。」

英国と欧州の新たな規制は、特に子供がアクセスできるコンテンツやサービスの種類に関して、小規模プラットフォームにも影響を及ぼすだろう。スタートアップ企業は、自社でチームやシステムを構築するよりも、信頼性と安全性をサービスとして購入する方を好むかもしれないと、信頼性と安全性を提供するツール「Cinder」に投資しているベンチャーファンド「Accel」のパートナー、サラ・イッテルソン氏は指摘する。「かつて企業は、信頼性と安全性の問題は特定の規模のプラットフォームでのみ表面化すると考えていました」とイッテルソン氏は語る。「しかし実際には、かなり早い段階で問題が顕在化するのです」。そしてイッテルソン氏は、人々は安全だと感じられないプラットフォームや、ジャンクコンテンツだらけのプラットフォームを最終的に利用したくないと主張する。

生成AIへの関心の爆発的な高まりは、企業に対し、信頼性と安全性の問題をライフサイクルの早い段階で解決するよう求める圧力をますます強めています。生成AIツールは、児童性的虐待コンテンツや合意のないポルノ画像の作成・共有に利用される可能性があり、どちらもほとんどのプラットフォームのガイドラインに違反することになります。「これらのツールがどのように悪用される可能性があるかについての認識は、以前よりもはるかに高まっています」とイッテルソン氏は述べています。これにより、企業は、自社のプラットフォームが生成AIコンテンツで溢れかえるのを防ぐ方法、あるいは自社のツールが悪用されるのを防ぐ方法といった課題に直面しています。

「Gen AIは状況を10倍悪化させています」と、信頼と安全を提供するスタートアップ企業ActiveFenceに投資しているNorwest Venture Partnersのパートナー、ドロール・ナフミ氏は語る。「もし私が悪質な行為者で、週に1本の記事を書いていたとしたら、今では特別な努力をすることなく、同じ週に10本の異なる記事を書くことができるのです。」

WIREDの取材に応じた投資家たちは、信頼と安全をサービスとする業界の潜在的規模を推測するのをためらっていたが、2017年に設立され、この分野では最古参の一つであるActiveFenceは、2021年に1億ドルを調達し、2021年には約5億ドルの評価額に達した。そして、同社の共同創業者であるノアム・シュワルツは、評価額は上昇していると述べている。

まだ黎明期ではあるものの、この業界は明​​らかに成長を続けています。「これはまさに20年前のサイバーセキュリティ業界の姿です」とシュワルツ氏は言います。ベンチャーキャピタル会社パラディン・キャピタルの2020年のレポートによると、この業界はすでに10億ドル以上の資金を調達しており、英国科学技術イノベーション省の2023年のレポートでは、コンテンツモデレーションから詐欺検出まであらゆるものを含む「セーフティテック」の収益が2020年代半ばまでに10億ポンド（12億2000万ドル）に達すると推定されています。

ナフミ氏は、大手テクノロジー企業のレイオフは、一時的には信頼と安全全般への投資意欲が低下していることを示しているかもしれないが、「長期的には、この分野の企業にとって良いことだと考えています。なぜなら、それは（テクノロジー企業が）自社で構築したものではなく、この分野に特化した企業のサービスにますます依存しなければならないことを意味するからです」と述べている。