暴力犯罪を予測する英国のAIツールは欠陥だらけで使えない

英国で銃やナイフによる暴力事件を事前に予測するために設計された、主力の人工知能システムに重大な欠陥があり、使用不可能だったことを地元警察が認めた。この欠陥により精度が大幅に低下し、最終的には倫理的問題が指摘されたため、審査を担当した専門家全員から却下された。

最も深刻な暴力（MSV）として知られるこの予測システムは、英国の国家データ分析ソリューション（NDAS）プロジェクトの一環である。内務省は過去2年間で少なくとも1,000万ポンド（1,300万ドル）をNDASに資金提供し、イングランドとウェールズ全域で利用可能な機械学習システムの開発を目指している。

MSVの失敗を受けて、警察は現在の形態での予測システムの開発を中止しました。このシステムは警察活動に使用されたことはなく、実際に使用できる段階にも達していません。しかし、この暴力ツールが少数派グループに偏向する可能性があり、警察活動に役立つかどうかについても疑問が投げかけられています。

MSVツールは、今後2年間に銃やナイフを使った最初の暴力犯罪を犯すかどうかを予測するために設計されました。ツールの開発に携わったウェスト・ミッドランズ警察とウェスト・ヨークシャー警察の2つの警察と接触したことがある人々にリスクスコアが与えられました。スコアが高いほど、犯罪を犯す可能性が高くなります。

システムの開発には、ウェスト・ミッドランズのデータ​​ベースから約240万人、ウェスト・ヨークシャーの約110万人の履歴データが使用され、犯罪や拘留記録、諜報報告書、全国警察のコンピュータデータベースからデータが抽出された。

しかし、NDASが今年初めにシステムの「運用開始」に着手した矢先、問題が発生。NDASの業務と警察自身の技術開発を精査するウェスト・ミッドランズ警察倫理委員会が公開した文書によると、同システムにはコーディング上の「欠陥」があり、暴力行為を正確に予測できなかったことが明らかになった。

「訓練データセットの定義にコーディングエラーが見つかり、MSVの現在の問題記述は実行不可能となりました」と、3月に公開されたNDASのブリーフィングで述べられています。NDASの広報担当者は、このエラーは開発プロセス中に発見されたデータ取り込みの問題であると述べています。この欠陥に関する詳細な情報は明らかにされていません。「現在入手可能なデータでは、銃やナイフを用いたMSV犯罪が初めて発生する前に介入すべきポイントを、ある程度の精度で特定することは不可能であることが判明しました」とNDASのブリーフィング文書は述べています。

NDASは、このエラーが発見される前、システムの精度、つまり精度は最大75%であると主張していました。ウェスト・ミッドランズ州で銃やナイフを用いた重大暴力行為を起こすリスクが高いと考えられる100人のうち、54人がこれらの犯罪のいずれかを実行すると予測されました。ウェスト・ヨークシャー州では、100人のうち74人が銃やナイフを用いた重大暴力行為を実行すると予測されていました。「現在、実際の精度は大幅に低いことが分かっています」とNDASは7月に述べています。

「稀な出来事は、よくある出来事よりも予測がはるかに難しい」と、サリー大学で法学と刑事司法の講師を務め、警察によるリスク予測ツールの活用に焦点を当てているメリッサ・ハミルトン氏は言う。ハミルトン氏は、精度の問題があったことに驚きはしなかった。「リスク予測ツールの性能が管轄区域によって異なることは承知していますが、これほど大きな差は見たことがありません。特に同じ国について話しているのに」とハミルトン氏は述べ、これまで見てきた他のシステムに基づくと、当初の推定値は高すぎるように思われたと付け加えた。

この欠陥を受けて、NDASは暴力予測システムを改良しましたが、その結果、精度が大幅に低下したことが明らかになりました。銃やナイフを使った深刻な暴力行為の場合、ウェスト・ミッドランズ警察では14～19%、ウェスト・ヨークシャー警察では9～18%に精度が低下しました。これらの率は、過去に深刻な暴力行為を犯したことがあるかどうかに関わらず、ほぼ同程度でした。

NDASは、当初システムのために定義していたすべての基準（初犯、武器の種類、武器の使用）を削除した場合に、改訂版システムが最も正確になることを発見しました。つまり、当初の性能は誇張されていたのです。最良のシナリオでは、この限定的なシステムの正確性は、ウェスト・ミッドランズ警察では25～38%、ウェスト・ヨークシャー警察では36～51%でした。

このシステムをさらに発展させるという警察の提案は、全会一致で拒否された。「このモデルが、深刻な青少年暴力の予防における意思決定の現状をどのように改善するかについては、情報が不十分である」と倫理委員会は7月に結論付け、システムの更なる発展を求める提案を却下した。様々な分野の専門家で構成される任意団体である同委員会は、改訂された精度率がなぜ十分であるのか理解できないと述べ、予測システムがどのように利用されるかについて懸念を表明した。

「委員会はこれまでも何度もこうした懸念を表明してきたが、十分な説明がないため、現状ではプロジェクトを中止することを勧告する」と、同委員会は議事録で述べている。本記事の取材に応じた委員会メンバーは、この作業について公式に発言する権限がないと回答した。

NDASプロジェクトリーダーのニック・デール警視は、プロジェクトの関係者は「このモデルを現状のまま進めることはできないという点で一致している」と述べ、これまでは実験段階だったことを指摘する。「適切なモデルを作成できたとしても、最終的なモデルがどのようなものになるかは確実には言えません。私たちの作業はすべて倫理委員会によって精査され、その審議結果は公表されます。」

しかし、NDASの公開された説明資料や倫理委員会による暴力予測システムの精査を検証した複数の関係者は、精度の問題は懸念事項の一つに過ぎないと指摘する。彼らは、使用されているデータの種類によっては予測に偏りが生じる可能性が高いこと、予測型警察技術の標準化に懸念を抱いていること、そしてそのようなツールの有効性を示す証拠が不足していることを挙げている。これらの点の多くは、倫理委員会が予測システムの開発に携わるNDAS職員に質問した際にも繰り返し述べられている。

「このプログラムの根本的な問題は、正確性の問題をはるかに超えています」と、プライバシー・インターナショナルの技術者、ヌーノ・ゲレイロ・デ・ソウザ氏は語る。「不正確さを根拠に議論を展開するのは問題です。技術的な欠陥は時間の経過とともに解決できるからです。たとえアルゴリズムが100%の正確性を持つように設定されたとしても、このシステムには依然として偏りが残るでしょう。」

暴力予測システムは、ある人物の将来の行動がどれほど危険であるかを評価するのに役立つと考えられる「20以上」の指標を特定した。これには、年齢、最初の犯罪からの日数、使用されたデータにおける他者とのつながり、これらの犯罪の重大性、そしてそれらに関連する諜報報告書における「ナイフ」への言及の最大数などが含まれる（場所と民族のデータは含まれていない）。プレゼンテーションによると、これらの要因の多くは、最新のデータに重点​​を置くように重み付けされている。

「刑事司法制度におけるデータ分析の他の分野では、不平等な結果につながることが証明されているカテゴリーが数多くあります」と、予測型警察活動におけるデータの問題を研究しているラトガース大学ロースクールの客員研究員、ラシダ・リチャードソン氏は述べている。「年齢を用いると、年齢が指標の一つに過ぎない結果、より若い世代の集団が含まれる可能性が高いシステムでは、ほとんどの予測や結果が歪んでしまうことがよくあります。」ハミルトン氏も同意見だ。彼女は、犯罪歴の要素自体が偏っていることが多いため、それらの要素に基づいて訓練されたアルゴリズムは、開発に人間が介入しない限り、同じ問題を抱えることになる、と説明する。

「私たちはバイアスを監視しており、バイアスを含むモデルを導入しようとはしません」と、NDASプロジェクトリーダーのデールは述べています。「私たちは、この種のモデルによる介入が、強制的な結果や刑事司法につながるのではなく、犯罪率の低減と人生の可能性の向上を目的とした、肯定的なものであるよう尽力して​​います。」

「MSVの主な価値は、警察活動のためのこれらの技術開発において何が可能なのかを検証することにあります」とデール氏は付け加える。「その過程で、何らかの理由で様々なことを試さざるを得なくなるのは避けられませんが、私たちは、研究を進めるにつれて、より効率的で効果的な警察活動と、すべてのコミュニティにとってより良い成果につながるデータサイエンス技術を開発できると確信しています。」

NDASの現在の考えは、予測暴力ツールは、深刻な暴力を犯す可能性のある人物を捜査する際に警察官が用いる既存の意思決定プロセスを「拡張」するために活用できるというものです。この暴力予測ツールは、NDASが開発中のツールの一つに過ぎません。NDASは、機械学習を用いて現代の奴隷制、銃器の移動、組織犯罪の種類なども検知しています。ロンドン警視庁のクレシダ・ディック長官は以前、警察はAIシステムに完全に依存するのではなく、「拡張知能」の活用を検討すべきだと述べていました。

しかし、意思決定に使用されるAIシステムにおける偏見や潜在的な人種差別の問題は、今に始まったことではありません。ちょうど今週、内務省は、移民ステータスを決定する情報の一つとして国籍を利用していたビザ申請の意思決定システムを、「根深い人種差別」が含まれているとの疑惑を受けて停止しました。

先月、世界的なブラック・ライブズ・マター運動を受けて、1,400人以上の数学者が公開書簡に署名し、数学分野は予測型警察アルゴリズムの開発をやめるべきだと主張しました。「刑事司法分野で予測分析が何らかの形で活用されている法域のほとんどを見ると、こうしたシステムが実際に機能しているという証拠は得られていません。しかし、その利用は急増しています」とリチャードソン氏は言います。

こうした懸念は、暴力予測ツールの開発において顕著に表れています。倫理委員会の文書によると、匿名の委員の一人は、今回のコーディングミスは警察活動におけるAIとテクノロジーのリスクを「厳しく思い出させるもの」だと述べています。

「最悪のシナリオでは、不正確なモデルによって、犯罪を予測する合理的な根拠がない人物に対して、強制的な制裁やその他の制裁が科される可能性があり、明確な警告があったにもかかわらず、若者や誰かの命を危険にさらすリスクがあった。しかし、チームが自らの研究を評価し、そこからやり直すための欠陥を特定したことは喜ばしい」と彼らは3月に記している。

暴力予測システムには欠陥があるにもかかわらず、検証した人々は、このシステムは他の予測型警察システムの開発よりも透明性が高いと述べている。「委員会の助言は透明性が高く、堅固で、実効性があります」と、ウェスト・ミッドランズ警察・犯罪コミッショナーの戦略顧問であるトム・マクニール氏は述べている。倫理委員会が緊急の質問をし、回答を得ているという事実は、警察におけるAIシステム開発においてはほとんど前例がない。開発の多くは通常、完全に秘密裏に行われ、問題が現実世界の人々に影響を与えて初めて表面化するからだ。

「何かがコンピューターでできるからといって、それが常に最善の方法である、あるいはその方法で行うべきだというわけではありません」と、ウィンチェスター大学情報権利センターの共同ディレクター、クリスティン・リニク氏は語る。「だからこそ、こうした手順を問うプロセスが非常に有益だと私は考えています。」

この記事はもともとWIRED UKに掲載されたものです。

WIREDのその他の素晴らしい記事

• 憎悪に満ちたr/The_Donaldの台頭とその壮大な崩壊
• ハッカーたちは安価な衛星追跡装置の軍隊を構築している
• 使っていないかもしれないAmazonプライム特典13選
• バーチャルな存在のための会議で過ごした、不具合だらけの素晴らしい一日
• 新しい薬が「効く」というのはどういう意味ですか?
• 🎙️ 未来がどのように実現されるかをテーマにした新しいポッドキャスト「Get WIRED」をお聴きください。最新エピソードを視聴し、📩ニュースレターに登録してすべての番組をチェックしましょう。
• 🎧 音に違和感を感じたら、ワイヤレスヘッドホン、サウンドバー、Bluetoothスピーカーのおすすめをチェック！