学校での「攻撃性」を検知する装置はしばしば誤作動を起こす

この記事はProPublicaと共同で出版されました。

アリエラ・ラスコルさんは、ニューヨーク市クイーンズ区にあるフランク・シナトラ芸術学校で演劇を専攻している。4月の午後、彼女の高校3年生の演技は期待を裏切らなかった。図書館は通常、校内で最も静かな部屋だが、彼女の耳をつんざくような叫び声は、自習室というよりホラー映画のようだった。しかし、攻撃を検知するはずの天井の小型マイクを作動させるには至らなかった。

数日後、コネチカット州ウェストポートにあるステープルズ・パスウェイズ・アカデミーで、3年生のサミ・ダンナが、同じ装置をうっかり作動させてしまった。それほど不気味ではない音――長引く胸の風邪による咳き込みの音――だった。彼女が咳き込み、しゃがれ声を出すと、装置のウェブインターフェースに「StressedVoiceを検出しました」というメッセージが表示された。

「ほら、これよ」ダンナは画面を見ながら面白そうに言った。「私の咳が映ってるわ」

学生たちは、プロパブリカが世界中の数百の学校、医療施設、銀行、店舗、刑務所で使用されている攻撃検知装置のテストを支援していた。米国でも100カ所以上で使用されている。この装置のソフトウェアを開発しているオランダ企業、サウンド・インテリジェンスは、今年中にシカゴにオフィスを開設する予定で、CEOもそこに拠点を置く予定だ。

カリフォルニア州に拠点を置くルロー・エレクトロニクス社は、2015年から自社のマイクにこのソフトウェアを搭載しており、学校の安全に関する雑誌や法執行機関の会議でこのデバイスを宣伝しており、顧客は100～1,000社に上るという。ルロー社のマーケティング資料によると、この検知ソフトウェアにより、警備員は「敵対的な人物に即座に対応し、物理的な暴力に発展する前に紛争を解決できる」という。

フロリダ州パークランドの高校での銃乱射事件をはじめとする数々の大量殺人事件を受け、米国の学校はこうした提案にますます耳を傾けるようになっている。議会は昨年、学校のセキュリティ強化のために2,500万ドル以上を承認しており、あるアナリストは、新技術が27億ドル規模の教育セキュリティ製品市場を拡大させる可能性があると予測している。サウンド・インテリジェンスに加え、韓国のハンファ・テックウィン（旧サムスン傘下）も同様の「叫び声検知」製品を製造しており、米国の学校に導入されている。英国に拠点を置くオーディオ・アナリティクスは、かつてシスコシステムズのプロフェッショナルセキュリティ部門を含む欧州と米国の顧客に、攻撃検知および銃声検知ソフトウェアを販売していた。しかし、オーディオ・アナリティクスの広報担当者はプロパブリカに対し、同社はその後ビジネスモデルを変更し、攻撃検知ソフトウェアの販売を中止したと語った。

画像には顔、人物、ジュエリー、ネックレス、アクセサリー、笑いが含まれている可能性があります

廊下やカフェテリアなどの公共スペースに監視技術を導入することで、機器メーカーや学校関係者は、銃乱射事件から未成年者の喫煙まで、あらゆる事態を予測・防止したいと考えています。サウンド・インテリジェンスは、銃声、車の警報音、割れたガラスの音を認識するアドオンパッケージも販売しています。また、ニューヨーク州ホーポージに拠点を置くソーター・テクノロジーズは、生徒が学校のトイレで電子タバコを吸っているかどうかを検知するセンサーを開発しています。ニューヨーク州北部のロックポート学区は、校内への侵入者を特定するための顔認識システムを計画しています。

しかし、ProPublicaの分析や、Sound Intelligence社の攻撃性検知装置を使った米国の学校や病院での経験から、この装置の信頼性は必ずしも高くないことが示唆されている。この装置の中核を成すのは、同社が機械学習アルゴリズムと呼ぶものだ。私たちの調査では、この装置は、D'Annaさんの咳のような、比較的高いピッチの荒々しく緊張した音を攻撃性と同一視する傾向があることがわかった。1994年にYouTubeに投稿された、ざらざらとした声のコメディアン、ギルバート・ゴットフリードさんの「ここは暑いのか、それとも私が頭がおかしいのか？」という発言がこの検知装置を作動させた。この装置は音を分析するものの、言葉や意味は考慮しない。Louroe社の広報担当者は、この検知装置は攻撃的と判断される音声パターンのみを捉えるため生徒のプライバシーを侵害することはないと述べたが、装置に搭載されたマイクにより、管理者は会話の断片を録音、再生、無期限に保存することができる。

「それが正しい問題を解決しているのか、そして正しいツールで解決しているのかは明らかではありません」と、ユタ大学のコンピューターサイエンス教授で、人間を人工知能に置き換えることが社会の意思決定にどのような影響を与えるかを研究しているスレシュ・ベンカタスブラマニアン氏は述べた。

専門家の中には、校内暴力に先立って言葉による攻撃が起こるという根本的な前提に異議を唱える者もいる。パークランドのマージョリー・ストーンマン・ダグラス高校で起きたニコラス・クルーズのような銃乱射事件の犯人は、事件発生前は沈黙している傾向があるからだ。「正直なところ、それがいつ役に立つのか想像もつきません」と、ミネソタ州セントポールのハムライン大学で犯罪学と刑事司法を専門とするジリアン・ピーターソン助教授は述べた。

ハーバード大学医学部で精神医学准教授を務め、学校の安全を研究しているナンシー・ラパポート博士は、音声監視は生徒の不信感や疎外感を増大させるという意図せぬ結果をもたらす可能性があると指摘した。さらにラパポート博士は、学校側は問題を抱えた生徒へのカウンセリングの強化といった問題の根本原因を突き止める解決策よりも、安価な技術的解決策を選んでいると付け加えた。攻撃性評価ソフトウェアを搭載したルロー社のマイクは、1台約1,000ドルで販売されている。

サウンド・インテリジェンスのCEO、デレク・ファン・デル・フォルスト氏によると、スウェーデンに拠点を置くアクシス・コミュニケーションズ製のセキュリティカメラが、同社の世界売上高の90%を占め、非上場企業のルロー社が残りの10%を占めているという。ファン・デル・フォルスト氏によると、バックエンドシステムを含めて数万ドルもするアクシス社のカメラには、ルロー社の製品よりも最新かつ高度なソフトウェアが搭載されているという。

ルロー社の広報担当者は、同社のデバイスは定期的にソフトウェアアップデートを受けていると述べた。アクシス社はプロパブリカのコメント要請に応じなかった。

ファン・デル・フォルスト氏は、この検知システムが不完全であることを認め、荒々しい口調を攻撃的と認識するという私たちの調査結果を確認した。同氏は、システムが時として無害な行動を誤認することを「100%保証する」と述べた。しかし、同氏は暴力の兆候を見逃すことをより懸念しており、このシステムは学校などの施設に非常に必要とされている早期警報システムを提供すると述べた。「暴力行為の可能性のある状況において、より迅速な対応が可能になります」と同氏は述べ、フロリダ州フォートマイヤーズの病院で、この検知システムが規則を破った来訪者を警備員に警告した事例を例に挙げた。病院関係者は、職員がパニックボタンを押す前にこのソフトウェアが攻撃的な行動を検知し、警備員が事態が悪化する前に事態収拾に着手できるようになったと述べた。

自身のアルゴリズムが銃乱射事件を防げるかとの質問に対し、ファン・デル・フォルスト氏は「発狂した変人が人を撃つのを防げるとは主張しません」と答えた。

サウンド・インテリジェンスは、過去20年以内に攻撃検知装置を開発しました。同社の研究者が共同執筆した2007年の調査によると、初期モデルはオランダの「パブ街」でテストされました。フローニンゲン都心の11か所にマイクが設置され、検知装置の検知結果が警察の攻撃行動に関する報告書と比較されました。調査によると、その結果は「非常に印象的」で、オランダの複数の警察署、オランダ鉄道会社、そして2つの刑務所でこの装置が「不可欠」とみなされたとのことです。

それ以来、ソフトウェアはより複雑になり、攻撃的な声を識別する能力が向上したとファン・デル・フォルスト氏は述べた。サウンド・インテリジェンスのエンジニアによると、最新バージョンは、叫び声を上げる子供たちの録音など、ヨーロッパの顧客から収集した音声を使用して調整されたという。訓練データの一部が学校から提供されたかどうかという質問に対し、ファン・デル・フォルスト氏は直接回答しなかった。

ベンカタスブラマニアン氏は、ある状況でアルゴリズムを調整した後、別の状況で使用すると「何層にも重なる問題」が生じる可能性があると述べた。彼は、特に公共の安全を守るための場面で使用されるアルゴリズムについて、透明性と偏りの監査が必要だと訴えている。他の批評家も同様に、地震予測のために設計された警察アルゴリズムが、現在では犯罪多発地点の予測に使用されていることを批判している。

研究者たちは、現実世界でのアルゴリズムの実装が、不完全または偏った学習データ、あるいは問題の枠組みの誤りによって誤った結果をもたらす可能性があることも発見しました。例えば、犯罪の再犯を予測するアルゴリズムは、黒人被告に不釣り合いなほどの罰を与えるという誤りを犯しました。

学校などの顧客は、Sound Intelligenceのソフトウェアがプリロードされたマイクを購入し、その後、Louroeまたは他の販売代理店からソフトウェアキーを注文してロックを解除します。天井に目立たないように設置されたLouroeの煙探知機サイズのマイクは、攻撃性を0から1のスケールで測定します。ユーザーは閾値を設定できます。閾値を一定時間超過すると、既存の監視システム、または音を拾ったマイクの位置情報を示すテキストメッセージを通じて、施設のセキュリティ装置に警告が送信されます。Sound IntelligenceとLouroeは、新規顧客の拠点ごとに数日または数週間かけてセンサーを微調整することを可能な限り望んでいますが、必ずしもそれが可能とは限りません。

ネバダ州ヘンダーソンにあるチャータースクール、パインクレスト・アカデミー・ホライゾンは、幼稚園から小学5年生までの生徒720名を抱え、今年初めに攻撃検知ソフトウェアと銃声検知ソフトウェアを搭載したルロー社製マイク2台を設置しました。1台は受付エリアの上に、もう1台は再開発されたショッピングモール内のサテライト棟に設置されています。

当初、子どもたちがロッカーのドアをバタンと閉めると、銃声検知器が作動していました。そのため、誤検知を減らすため、ノイズに対する感度が調整されました。このアカデミーの装置を設計したラスベガスのアトラス・インテグレーテッド・セキュリティ社のジェディディア・ウォレス氏は、攻撃検知器が一度作動したことがあると述べている。それは、クラスメートに噛まれた子どもが叫び声を上げた時だった。

2017年のFBIの統計によると、ヘンダーソンの暴力犯罪率は近隣のラスベガスの3分の1、全米平均の半分以下だ。それでも、「もう少し安心感が必要だった」と、地元警察に通報できる非常ボタンを首から下げているパインクレストのウェンディ・シャイリー校長は語る。

シャーロットの州境を越えたサウスカロライナ州ロックヒル・スクールズは、昨年、アクシスのカメラにSound Intelligenceソフトウェアを導入しました。学区内の高校の監視カメラからの音声フィードは、カフェテリアや共用エリアで乱闘の兆候を示す激しい音を警備員に知らせます。

ある時、生徒たちが大声で友達の誕生日を祝ったため、検知器が作動してしまったと、ロックヒルのセキュリティ責任者ケビン・レン氏は語った。しかし、彼は「この装置は攻撃的な行動を察知するのに効果がありました。生徒たちが喧嘩を始めた時の反応時間を短縮できるのではないかと考えています。次のパンチで彼らの鼻を折ってしまうかもしれません」と述べた。ファン・デル・フォースト氏も、この検知器が学校での攻撃的な事件の減少に役立っていると述べた。

ニュージャージー州リッジウッドにあるザ・バレー病院では、このソフトウェアの効果が薄れています。同病院の医療システムのセキュリティ責任者であるダニエル・コス氏は、3年間、2万2000ドルをかけた試験運用の後、検知器を段階的に廃止すると述べました。公共の「高リスク」エリアに設置されたこの装置は、患者の大きな声やカフェテリアの従業員がレジをバタンと閉める音で作動していました。検知器の感度を下げると、机を叩きながら叫び声を上げていた興奮状態の男性を無視してしまいました。事態はエスカレートし、6人の警備員が現場に出動しました。

「彼はシステムを作動させるべきあらゆることをしていた。しかし、作動しなかった」とコス氏は述べ、この技術は別の状況では機能する可能性があると信じている。

ファン・デル・フォルスト氏は、検知器が病院に警報を発しなかったことについて「大変残念に思う」と述べた。「この件については必ず行動を起こします。病院はこのような経験をするべきではありませんでした。」

ProPublicaはLouroe社のマイクを購入し、Sound Intelligenceのガイダンスに従って設置しました。記者たちはその後、シナトラ高校の図書館やステープルズ高校の談話室、そして両校の隣接する小部屋で高校生たちがゲームをしている時の音に対する、攻撃検知器の反応を観察しました。生徒たちは合図で叫んだり、登場人物がフラストレーション、恐怖、怒りを吐き出す漫画を読み上げたりしていました。シナトラ高校の生徒たちが叫んだ55回のうち、22回で検知器が作動しました。

ヴァン・デル・フォルスト氏は、叫び声の聞き逃しなど、プロパブリカの調査結果の一部に疑問を呈した。その理由は「クリッピング」と呼ばれる現象によるものだ。これは、マイクが過度のノイズに圧倒され、音声が歪んでアルゴリズムの判定に誤差が生じる可能性がある現象である。クリッピングは、小さな部屋で大きな音が録音された際に発生する可能性があるため、プロパブリカはより広い空間で同じ音声プロンプトを用いて学生たちを再テストした。ラスコル氏の叫び声を含む多くの叫び声は、再び警報を鳴らすことができなかった。これは、クリッピングが結果に大きな変化をもたらさなかったことを示している。

最初のテストラウンドでは、シナトラ図書館にランチのピザが届けられた時、歓声が検知器を作動させました。ピクショナリーの各ラウンドでも、生徒たちは「消防士！」「ルシファー！」と推測を叫び、アーティストが正解（ネバダ州の辺境で開催されるフェスティバル、バーニングマン）を明かすまで、歓声で検知器が作動しました。特に、大笑いする笑い声は検知器を作動させることがあり、検知器はそれを好戦的な叫び声と誤認したようです。

銃乱射事件への対応として、一部の学校や病院ではアルゴリズムを搭載したマイクを設置しています。これらの装置は、暴力が発生する前にストレスや怒りを検知すると謳っていますが、私たちのテストでは信頼性に欠けることが判明しました。

ルイビル大学医学部の助教授で聴覚学の専門家であるシェイ・モーガン氏は、こうした結果は驚くべきものではないと述べた。「喜びや高揚感に満ちた話し方は、激しい怒りと多くの共通点がある」と彼は述べた。対照的に、「冷たい怒り」――声を張り上げることなく表現されることが多い、静かで冷淡な怒り――は、校内暴力の前兆となる可能性はあるものの、検出されないだろうと彼は述べた。昨年フロリダ州オーランドで行われた警察署長会議で、ルロー社の担当者はプロパブリカの記者にこのマイクを見せ、次の学校銃乱射事件を防ぐことができると述べた。その後、同社の広報担当者は、このマイクは静かな殺人犯を発見するために設計されたものではないと明言した。

それでも、銃乱射事件が起こるたびに、攻撃検知器や類似の装置の需要は高まるだろう。パインクレストに検知器を設置したウォレス氏は、南ネバダ州の他の地域、例えば病院、バス停、その他の公共エリアにも設置したいと考えている。

「何かが起きてから初めて、解決策を話し合うのが常です」と、パインクレスト校のシャイリー校長は語った。「でも、なぜ先手を打たないのでしょうか？私たちは、あるがままの世界に適応しなければなりません。」

***

攻撃性検出器のテスト方法

プロパブリカはアルゴリズムをテストするために、ルロー・エレクトロニクス社からマイクを購入し、攻撃性検知ソフトウェアのライセンスを取得しました。デバイスの配線を変更し、事前に録音した音声クリップをテストしながら出力を測定できるようにしました。その後、高校生の音声を録音し、アルゴリズムが攻撃的だと判断した音の種類を分析しました。

高い声で、荒々しく、緊張した発声は、アルゴリズムをトリガーする傾向があることが分かりました。例えば、笑い声、咳、歓声、大声での議論といった音は、アルゴリズムを頻繁にトリガーしました。女子高校生は、歌ったり、笑ったり、話したりするときには誤検知する傾向がありましたが、甲高い叫び声では誤検知に至らないことが多かったのです。

WIREDのその他の素晴らしい記事