セキュリティだけでは不十分。シリコンバレーには「悪用可能性」テストが必要

テクノロジーの影響は、その創造者が意図したものに限定されることは決してありません。テクノロジーは、混乱を招き、形を変え、そして逆効果をもたらします。そして、21世紀に入り、イノベーションの予期せぬ影響が加速する一方で、テクノロジー企業はその二次的影響についての考察を、時折の気まずい議会公聴会にまで委ね、予期せぬ悪用を防ごうと躍起になるのは、被害が発生してからになってからという状況です。シリコンバレーのある監視団体で、元連邦規制当局者は、もはやこれでは不十分だと主張しています。

月曜日、カリフォルニア州バーリンゲームで開催されるUSENIX Enigmaセキュリティカンファレンスで、元連邦取引委員会主任技術者のアシュカン・ソルタニ氏が講演を行う予定だ。講演のテーマは、「素早く行動し、破壊する」テクノロジー企業への遅きに失した反省だ。ソルタニ氏は、シリコンバレーは自社製品のセキュリティ対策と同じくらい、意図しない悪意ある利用の可能性を真剣に受け止めるべき時が来たと述べている。Facebook、Twitter、Instagramにおけるロシアの偽情報から、YouTubeの過激主義、ドローンによる航空管制停止に至るまで、テクノロジー企業は自社のユーザー保護だけでなく、同氏が「悪用可能性」と呼ぶもの、つまりユーザーが自社のテクノロジーを悪用して他者や世界に危害を加える可能性についても考える必要があるとソルタニ氏は主張する。

「テクノロジーを使って自分自身や他人に危害を加える方法を見つける例は数百件あります。そして、多くのテクノロジー企業のCEOは、『私たちのテクノロジーがこんな風に使われるとは思っていませんでした』と答えています」とソルタニ氏は、エニグマでの講演に先立つインタビューで述べた。「私たちは、物事がうまくいかない可能性について考える必要があります。企業として私たちに害を及ぼす方法だけでなく、私たちのプラットフォームを利用する人々、他のグループ、そして社会に害を及ぼす方法も考えなければなりません。」

悪用可能性テストに関するパラダイムシフトの前例があります。多くのソフトウェア企業は、2000年代に入るまでセキュリティに多額の投資を行っていませんでした。ソルタニ氏によると、マイクロソフトが先導し、ハッカーの脅威を真剣に受け止め始めたのです。彼らは自社でセキュリティエンジニアやハッカーを雇用し始め、コード内のハッキング可能な脆弱性の監査をソフトウェア開発プロセスの中核に位置付けました。今日では、本格的なテクノロジー企業のほとんどは、社内でコードのセキュリティを破ろうとするだけでなく、外部のレッドチームを招いてハッキングを試み、さらには未知のセキュリティ上の欠陥を警告した人に「バグ報奨金」を提供するまでになっています。

「セキュリティ担当者はかつて、イノベーションの妨げとなるコストセンターとみなされていました」とソルタニ氏は、FTC入りする前、フォーチュン500企業でセキュリティ管理者として働いていた自身の経験を振り返りながら語る。「それから15年、20年が経ち、今では私たちは経営幹部レベルの立場にあります」

しかし、悪用の可能性に関しては、テクノロジー企業はようやくその変化に着手し始めたばかりだ。確かに、Facebook、Twitter、Googleといった大手テクノロジー企業には、大規模な悪用対策チームが存在する。しかし、これらのチームは往々にして事後対応的で、ユーザーからの悪質な行為の報告に大きく依存している。ソルタニ氏によると、ほとんどの企業は依然としてこの問題に十分なリソースを投入しておらず、悪用の可能性を評価するために外部コンサルタントを導入する企業はさらに少ない。ソルタニ氏は、新しいテクノロジーがもたらす意図しない利用や結果の可能性を徹底的に検討するには、外部の視点が不可欠だと主張する。

2016年の選挙でFacebookが偽情報のメガホンとして機能したことは、悪質行為を阻止するために専任の大規模チームを擁しながらも、壊滅的な悪質行為には目をつぶり続けることがいかに可能かを示していると彼は指摘する。「歴史的に、悪質行為対策チームはプラットフォーム自体における悪質行為に焦点を当てていました」とソルタニ氏は言う。「今、私たちは社会や文化全体、民主主義への悪質行為について議論しています。FacebookとGoogleは、プラットフォームがどのように民主主義を悪用するかについて、最初から悪質行為対策チームに考えさせていたわけではありません。これはここ2年間で起こった新しい現象です。私はこれを正式なものにしたいと考えています。」

ソルタニ氏は、一部のテック企業は、多くの場合遅ればせながらではあるが、この問題に取り組み始めていると語る。FacebookとTwitterは2016年以降、数千の偽情報アカウントを削除した。インドからブラジルに至るまで、暴力への呼びかけや偽ニュースの拡散に利用されてきたWhatsAppは、今月初め、ついに大量メッセージ転送に制限を課した。ドローンメーカーのDJIは、ドローンが敏感な空域に入り込まないようにジオフェンシング制限を設け、ヒースロー空港とニューアーク空港が付近のドローンによって麻痺したような大失態を回避しようとしている。ソルタニ氏は、これらはすべて、企業がユーザーの自由を制限することなく悪用を制限することに成功した事例だと主張する。例えば、Twitterは匿名アカウントを禁止する必要はなかったし、WhatsAppもエンドツーエンドの暗号化を弱める必要はなかった。

ソルタニ氏は、こうした教訓は今やあらゆるテクノロジー企業に適用されるべきだと述べている。セキュリティ上の欠陥が正式に分類され、チェックされ、コードがリリースまたは悪用される前に削除されるのと同様だ。「問題領域と歴史を定義し、さまざまな種類の攻撃を網羅した資料を作成し、それらを分類する必要がある」とソルタニ氏は述べている。そしてさらに重要なのは、テクノロジー企業は、自社製品がもたらす可能性のある新たな社会的な危害を、事後ではなく発生前に予測する努力をする必要があるということだ。

こうした予測は非常に複雑になる可能性があり、ソルタニ氏はテクノロジー企業は、テクノロジーの予期せぬ結果を予見することを仕事とする人々、つまり学者、未来学者、さらにはSF作家に相談すべきだと提案している。「芸術を通して、私たちが避けたい潜在的なディストピアについて考えることができます」とソルタニ氏は言う。「『ブラック・ミラー』は、ホワイトハウスのどんな政策文書よりも、AIの潜在的な落とし穴について人々に知らせる上で大きな役割を果たしたと思います。」

ソルタニ氏はFTC在籍中（2010年にはスタッフテクノロジスト、その後2014年にはチーフテクノロジストとして）、Twitter、Google、Facebook、MySpaceのプライバシーとセキュリティ問題に関する委員会の調査に携わった。これらの事例は、FTCがシリコンバレーの監視機関としての役割を拡大していることを如実に示している。FTCはこれらの事例のいくつかにおいて、虚偽の主張や不公正な取引慣行を理由にこれらの企業に「命令」を出した。これは一種の保護観察処分であり、その後Googleには数千万ドルの罰金が科せられ、Facebookにも同社の最近のプライバシースキャンダルに対する罰として、おそらくはるかに多額の罰金が科せられることになるだろう。

しかし、ソルタニ氏は、そのような規制の執行では濫用の問題は解決できないと指摘する。彼が警告する間接的な濫用の被害者は、企業とは何の関係も持たないことが多いため、欺瞞を訴えることができない。しかし、たとえ差し迫った規制の脅威がなくても、企業は評判の失墜や、次のスキャンダルに対する政府の反射的な過剰反応を恐れるべきだとソルタニ氏は主張する。彼はその例として、2018年初頭に可決された物議を醸した性的人身売買防止法（FOSTA）を挙げる。

つまり、シリコンバレーは、セキュリティ、そして成長と収益のために長年注力してきたのと同じ思考とリソースを、悪用可能性にも投入する必要があるということです。「学術界、研究、SFの世界には、少なくとも既知の事実の一部を明らかにする機会があります」とソルタニ氏は言います。「そして、もしかしたら未知の事実の一部も明らかにできるかもしれません。」

WIREDのその他の素晴らしい記事