ロンドン地下鉄、犯罪発見のためリアルタイムAI監視ツールを試験運用中

WIREDが入手した新たな文書によると、ロンドン地下鉄の利用者数千人が、犯罪を犯していないか、あるいは危険な状況に陥っていないかを見極めるために設計されたAI監視ソフトウェアによって、動き、行動、ボディランゲージが監視されていたことが明らかになった。この機械学習ソフトウェアは、CCTVのライブ映像と組み合わせられ、攻撃的な行動や銃やナイフの振り回しを検知するほか、地下鉄の線路に転落したり、乗客をよけたりする人物を探していた。

ロンドンの地下鉄とバス網を運営するロンドン交通局（TfL）は、2022年10月から2023年9月末まで、ロンドン北西部のウィルズデン・グリーン駅を利用する人々を監視する11のアルゴリズムを試験的に導入しました。この概念実証実験は、TfLがAIとライブビデオ映像を組み合わせてアラートを生成し、最前線の職員に送信する初めての試みです。試験期間中、4万4000件以上のアラートが発令され、そのうち1万9000件が駅員にリアルタイムで配信されました。

情報公開法に基づく請求に応じてWIREDに送付された文書には、ロンドン交通局（TfL）が駅構内の人々の行動を追跡するために、様々なコンピュータービジョンアルゴリズムをどのように用いていたかが詳細に記されている。この実験の全容が報じられたのは今回が初めてであり、TfLは昨年12月、ロンドン市内のより多くの駅でAIを活用した改札外乗車の検知を行うと発表した。

COVID-19パンデミック以前には1日2万5000人の利用客がいたウィルズデン・グリーン駅での試験運用では、AIシステムは潜在的な安全上の問題を検知し、職員が困っている人を支援できるようにするために設定されていましたが、同時に犯罪行為や反社会的行為もターゲットとしていました。WIREDに提供された3つの文書には、AIモデルが車椅子、ベビーカー、電子タバコの使用、立ち入り禁止区域への立ち入り、あるいはプラットホームの端に近づくことで自らを危険にさらす行為をどのように検知したかが詳述されています。

一部編集された文書には、AIが試験中にどのようなエラーを起こしたかが記されている。例えば、改札口で親の後をついてくる子供を不正乗車の疑いがあると判断する、折りたたみ自転車とそうでない自転車を区別できないといったエラーだ。また、警察官は駅が閉鎖されている間、監視カメラの映像にマチェーテと銃を映し出し、システムが武器をより正確に検知できるようにして試験を支援した。

文書を検証したプライバシー専門家は、物体検出アルゴリズムの精度に疑問を呈している。また、この実験についてどれだけの人が知っていたかは不明だと述べ、このような監視システムは将来、より高度な検出システムや、特定の個人を特定しようとする顔認識ソフトウェアに容易に拡張される可能性があると警告している。「この実験では顔認識は行われていませんが、公共の場でAIを用いて行動を特定し、ボディランゲージを分析し、保護対象の特徴を推測することは、顔認識技術が提起するのと同じ科学的、倫理的、法的、そして社会的な問題を多く提起します」と、独立研究機関エイダ・ラブレス研究所の副所長マイケル・バートウィッスル氏は述べている。

WIREDの情報公開請求に対し、TfLは既存のCCTV画像、AIアルゴリズム、そして「多数の検知モデル」を用いて行動パターンを検知したと述べています。回答では、「駅員に利用者の動きや行動に関する洞察と通知を提供することで、あらゆる状況に迅速に対応できるようになることを期待しています」と述べています。また、この実験によって運賃逃れに関する知見が得られ、「今後の取り組みや介入に役立つ」と述べており、収集されたデータはTfLのデータポリシーに準拠しているとしています。

この記事の公開後に送られた声明の中で、ロンドン交通局（TfL）の政策・コミュニティ安全担当責任者であるマンディ・マクレガー氏は、試験結果の分析は継続中であると述べ、試験で収集されたデータに「偏りの証拠はなかった」と付け加えた。マクレガー氏によると、試験中、駅構内にはAI監視ツールの試験について言及する標識は設置されていなかったという。

「現在、試験の第2フェーズの設計と範囲を検討しています。この技術の利用拡大、つまり他のステーションへの展開や機能追加については、まだ決定していません」とマクレガー氏は述べています。「試験段階以降の技術のより広範な展開については、地域社会や、この分野の専門家を含むその他の関係者との十分な協議が不可欠です。」

実験で使用されたようなコンピュータービジョンシステムは、画像や動画内の物体や人物を検出することで機能します。ロンドンでの実験では、特定の行動や動きを検出するように訓練されたアルゴリズムと、地下鉄駅に設置された20年前のCCTVカメラの画像が組み合わされ、10分の1秒ごとに画像が分析されました。システムが問題のある11の行動や事象のいずれかを検出すると、駅員のiPadまたはコンピューターに警告が発せられます。資料によると、TfL職員は対応が必要な19,000件の警告を受け取り、さらに25,000件が分析目的で保管されました。

システムが識別しようとしたカテゴリーは、群衆の動き、不正アクセス、安全確保、移動支援、犯罪および反社会的行動、線路上の人物、負傷者または体調不良者、ゴミや濡れた床などの危険、放置物、立ち往生した乗客、運賃逃れです。それぞれに複数のサブカテゴリーがあります。

デジタル権利団体Access Nowのシニア政策アナリスト、ダニエル・ルーファー氏は、この種の監視システムを見ると、まず攻撃や犯罪を検知しようとしているかどうかに注目すると言う。「カメラはボディランゲージや行動を識別することでこれを実現するでしょう」と彼は言う。「それに基づいて何かを訓練するには、どのようなデータセットが必要になるのでしょうか？」

TfLの試験運用報告書によると、システムは「攻撃行為も対象に加えたかった」ものの、「うまく検知できなかった」という。さらに、訓練データが不足していたため、攻撃行為を対象から外した他の理由は黒塗りされていたと付け加えている。報告書では、腕を上げた人物が「攻撃行為に関連する一般的な行動」と表現されていたため、システムは代わりに警告を発した。

「こうした事象はあまりにも複雑で微妙なニュアンスがあり、必要なニュアンスを含むデータセットで適切に捉えるにはあまりにも複雑すぎるため、トレーニングデータは常に不十分です」とルーファー氏は述べ、TfLがトレーニングデータが不十分だったことを認めたことは前向きだと指摘する。「公共の場でどのような行動が許容されるかという既存の社会的偏見を単純に再現するのではなく、機械学習システムを使って確実に攻撃性を検知できるかどうか、私は非常に懐疑的です」。WIREDが入手した文書によると、テストデータを含め、攻撃的な行動に関するアラートは合計66件あった。

プライバシー重視の団体「ビッグ・ブラザー・ウォッチ」のシニア・アドボカシー・オフィサー、マデリン・ストーン氏は、地下鉄利用者の多くが、当局がAIを活用した監視下に置いたことを知れば「不安」を感じるだろうと述べている。ストーン氏は、アルゴリズムを用いて人物が「攻撃的」かどうかを判断するのは「重大な欠陥」だと述べ、英国のデータ規制当局が感情分析技術の使用に対して警告を発していることを指摘している。

文書によると、運輸省の職員は試験期間中、ウィルズデン・グリーン駅で「広範囲にわたるシミュレーション」を実施し、より多くの訓練データを収集した。これには職員が床に倒れるというシミュレーションも含まれ、一部のテストは駅が閉鎖されている時間帯に行われた。「駅構内の様々な場所で、BTP（英国運輸警察）の警官がマチェーテと拳銃を持っているのが見られます」と文書のキャプションに記されているが、画像は編集されている。ファイルによると、試験期間中、駅構内で武器事件に関する警報は発令されなかった。

最も多くの警告が出たのは、閉じた改札口を飛び越えたり、くぐったり、改札口を押し開けたり、開いた改札口を通り抜けたり、料金を払った人に追いついたりして、乗車料金を払わない可能性のある人々に対するものでした。TfLによると、改札逃れによる費用は年間最大1億3000万ポンドに上り、試験期間中に2万6000件の改札逃れ警告が出されました。

すべてのテスト中、乗客の顔画像はぼかし処理され、データは最大14日間保存されていました。しかし、試験開始から6ヶ月後、TfLは料金未払いの疑いがある乗客の顔画像のぼかしを解除することを決定し、そのデータをより長期間保存するようになりました。文書によると、当初は職員が運賃未払いのアラートに対応する予定でした。「しかし、1日のアラート件数が非常に多く（日によっては300件以上）、検知精度も高かったため、アラートを自動認識するようにシステムを構成しました」と文書には記されています。

エイダ・ラブレス研究所のバートウィッスル氏は、このような技術が導入される際には、人々は「強固な監督とガバナンス」を期待すると述べています。「これらの技術が使用される場合は、国民の信頼、同意、そして支持を得て使用されるべきです」とバートウィッスル氏は言います。

試験運用の大部分は、駅員が駅で何が起こっているかを理解し、事態に対応できるよう支援することを目的としていました。ファイルによると、車椅子用の設備がないウィルズデン・グリーン駅の職員は、59件の車椅子アラートにより「必要なケアと支援を提供」することができました。一方、黄色の安全線を越えた人に関するアラートは約2,200件、線路の端に寄りかかった人に関するアラートは39件、ベンチに長時間座っている人に関するアラートは約2,000件ありました。

「実証実験中、職員による黄色い線から離れるよう乗客に注意喚起するアナウンスの回数が大幅に増加しました」と文書には記されている。また、システムは駅の入口で「路上生活者や物乞い」がいる場合に警告を発し、これにより職員が「遠隔で状況を監視し、必要なケアと支援を提供」できるようになったと主張している。TfLは、このシステムは駅員の質を向上させ、乗客の安全性を高めるために試験的に導入されたと述べている。

ファイルには、AI検知システムの精度に関する分析は一切含まれていません。しかし、様々な場面で検知システムの調整が必要でした。「物体検知と行動検知は一般的に非常に脆弱で、絶対確実なものではありません」と、Access Nowsのルーファー氏は述べています。ある事例では、実際には列車の運転士が列車を降りている最中だったにもかかわらず、システムが「人が立ち入り禁止区域にいる」という警告を発していました。また、カメラに太陽光が当たることでも、システムの効果が低下したと文書には記されています。

このテストでは、交通網ではほとんど許可されていない、折りたたみ式または折りたたみ式でない自転車や電動スクーターをAIが検知できるかどうかも確認されました。「AIは、折りたたみ式ではない自転車と通常の自転車、電動スクーターと子供用スクーターを区別できませんでした」と文書には記されています。また、不正乗車モデルは子供も検知しました。「通学時間帯には、親子の車間距離の接近に関するアラートが急増していました」と文書には記されています。システムは、「ゲートより身長が低い」人を検知しないように調整されました。

近年、公共空間における人々の行動、移動、身元を検知するためのAIの活用が増加しており、その多くはスマートシティ構想を装っています。昨年7月には、ニューヨーク市の複数の地下鉄駅がAIを活用して運賃逃れを追跡しているとの報道がありました。ロンドンでは、TfLが12月に運賃逃れの実験を他の駅にも拡大すると発表したものの、実験の状況は不明です。

これらのシステムの多くは、その使用を規制する具体的な法律が存在しない状況で開発されており、英国では規制の空白状態が懸念されています。「交通ハブにおけるAIを活用した監視の標準化は、監視国家への危険な道であり、より高い透明性と公衆の協議が必要です」と、ビッグ・ブラザー・ウォッチのストーン氏は述べています。

ルーファー氏は、これらのシステムがより広く使用され始めると、いつでもアップグレードできると警告する。「インフラが整備されれば、機能を更新するのは全く簡単です」と彼は言う。「これらのシステムに何が追加されるのか、本当に心配です。危険な道に陥りやすいのです。」

更新: 2024 年 2 月 8 日午後 5 時 (東部標準時): TfL 広報担当者からのコメントを追加しました。