詐欺検出ビジネスには汚い秘密がある

ミッチ・ダニエルズは数字に強い男で、コスト削減に長けている。2000年代初頭、当時のジョージ・W・ブッシュ大統領の下で議会支出の抑制に取り組み、失敗した。そのため、2005年にインディアナ州知事に就任したダニエルズは、再び財政規律を訴える準備を整えていた。機能不全に陥っていると見なしたインディアナ州政府の立て直しを望んだのだ。そして、福祉制度から着手した。「福祉制度は一連の刑事告発で揺れ動いており、不正行為者とケースワーカーが共謀して貧困層のための資金を横領していた」と彼は後に語っている。

ダニエルズ氏の解決策は、IBMとの13億ドル、10年契約という形で実現した。2006年に開始されたこのプロジェクトに彼は大きな野望を抱いており、インディアナ州民の福祉サービスを向上させると同時に不正行為を厳しく取り締まり、最終的には納税者の数十億ドルの節約につながると主張していた。

しかし、この契約は大失敗に終わりました。3年後に解約され、IBMとインディアナ州は責任の所在をめぐって10年間も法廷闘争を繰り広げました。ダニエルズ氏は、フードスタンプから医療保険まで、あらゆる給付金の受給資格を決定するシステムをIBMが徹底的に再設計し、自動化したことは欠陥だったと述べました。しかし、専門知識を持つ企業に技術プロジェクトをアウトソーシングしたのは正しい判断だったと断言しました。「過剰設計でした」と彼は言います。「書類上は素晴らしいのですが、実際には複雑すぎます。」IBMはコメントの要請を拒否しました。 

2012年7月、マリオン郡上級裁判所のデイビッド・ドライアー判事は、インディアナ州はIBMの契約違反を立証できなかったと判決を下した。しかし、ドライアー判事はシステム自体についても厳しい判決を下し、ケースワーカーをコンピューターと電話に置き換える未検証の実験だと批判した。「どちらの側もこの訴訟に勝つ資格はない」とドライアー判事は述べた。「この件は、誤った政府の政策と過剰な企業野心という『最悪の組み合わせ』を象徴している」 

福祉国家の自動化という急成長ビジネスにとって、これは早すぎる終焉の鐘だったかもしれない。ところが、業界は爆発的に成長した。今日、こうした不正システムは、漠然とした「ガブテック」業界の重要な部分を占めている。ガブテックとは、新しいITによって行政がより使いやすく効率的になると謳い文句に、政府に新技術を売り込む企業を中心に展開する業界だ。2021年には、この市場規模は欧州で1160億ユーロ（1200億ドル）、世界で4400億ドルと推定されている。そして、この技術の波から利益を得ることを期待しているのは企業だけではない。政府もまた、ITシステムの近代化によって大きな節約が実現できると考えている。2014年、コンサルティング会社マッキンゼーは、政府のデジタル化が「最大限に」実現すれば、毎年1兆ドルの節約が可能になると試算した。 

世界中の請負業者は、不正行為検出アルゴリズムが公的資金の回収に役立つと政府に売り込んでいる。しかし、こうしたシステムの普及を追跡している研究者たちは、これらの企業はしばしば過剰に報酬を受け取っており、十分な監督を受けていないと主張する。研究者によると、重要な問題は説明責任だ。複雑な機械学習モデルやより単純なアルゴリズムが民間企業によって開発される場合、誰が不正行為で告発され、誰が告発されないかを決定するコンピューターコードは、しばしば知的財産として分類される。その結果、こうしたシステムの意思決定方法は不透明で、調査の対象外となる。そして、こうしたアルゴリズムのブラックホールが、偏見の疑いをめぐる危険な法廷闘争に巻き込まれたとしても、説明を求める人々はなかなか答えを得られない。 

英国では、グレーター・マンチェスター障害者連合（Greater Manchester Coalition of Disabled People）と呼ばれる地域団体が、障害者が詐欺容疑で捜査される傾向が、政府の自動化プロジェクトと関連しているかどうかを突き止めようとしている。フランスでは、デジタル権利団体「La Quadrature du Net」が4ヶ月にわたり、詐欺システムが外国生まれの人々を差別しているかどうかの調査に取り組んでいる。またセルビアでは、弁護士たちが、新制度の導入によって何百ものロマ人家族が福祉給付を失った理由を解明しようとしている。「これらのモデルは常に秘密です」と、ニューヨーク大学デジタル福祉国家プロジェクトのディレクター、ヴィクトリア・アデルマント氏は言う。「透明性がなければ、これらの制度に異議を唱え、評価することさえ非常に困難です。」 

自動化された官僚機構の導入は急速かつ静かに進められましたが、その影響で数々のスキャンダルが引き起こされました。ミシガン州では、2013年から2015年にかけて使用されていたコンピューターシステムが、3万4000人を福祉詐欺で誤認逮捕しました。オーストラリアでも2015年から2019年にかけて同様の事件が発生しましたが、規模はより大規模でした。オーストラリアの社会保障局がいわゆるロボデット・アルゴリズムを用いて罰金を自動発行し始めた後、政府は40万人を福祉詐欺または誤りで告発しました。

2019年、オランダで新たなスキャンダルが発生しました。数万世帯（その多くはガーナ系コミュニティ出身）が、児童手当制度を不正に利用したとして、虚偽の告発を受けたのです。こうした制度は、無実の人々を福祉詐欺で告発する機関を助長しただけでなく、受給者は盗んだとされる金銭の返還を命じられました。その結果、告発された多くの人々が借金の山に埋もれ、信用格付けは失墜し、さらには破産に追い込まれました。 

スキャンダルに関連する政府の不正検知システムのすべてが、コンサルティング会社やテクノロジー企業と共同で開発されたわけではありません。しかし、公務員は知識と人材の不足を補うために、民間セクターに目を向けるケースが増えています。不正検知システムに関与する企業は、アクセンチュア、キャップジェミニ、PWCといった大手コンサルティング会社から、オランダのTotta Data LabやセルビアのSagaといった小規模なテクノロジー企業まで多岐にわたります。

自動化とAIの専門家は採用コストが高く、公共部門の給与水準では採用しにくい。英国が昨年、公務員を対象に行った調査では、政府のテクノロジー活用能力に対する信頼は低く、回答者の約半数が優秀な人材の採用不足を理由に挙げた。回答者の3分の1以上が、人工知能（AI）、機械学習、自動化のスキルがほとんどないか全くないと答えた。しかし、民間部門が政府職員にとってこれほど魅力的なのは、業界経験だけではない。予算削減に苦しむ福祉部門にとって、「効率性」はもはやおなじみの流行語となっている。「公共部門の組織は、コンサルタントのグループを招き入れた方が効率的だと言うことが多い」と、アクセンチュアの欧州公共サービス部門責任者、ダン・シールズ氏は語る。

ドイツの非営利団体「アルゴリズム・ウォッチ」の共同設立者マティアス・シュピールカンプ氏は、公共部門にはこうしたシステムを構築し、監督する専門知識が不足していると指摘する。同団体は2017年から欧州全域の社会福祉プログラムにおける自動意思決定を追跡している。理想としては、公務員が自らこれらのシステムを開発し、その仕組みを深く理解できるようになるはずだとシュピールカンプ氏は語る。「民間企業と協力するのとでは大きな違いがあります。なぜなら、彼らはブラックボックス型のシステムを売りつけてくるからです。公共部門を含むあらゆる人にブラックボックスを売るのですから」 

2020年2月、オランダのワルヘレン地方で危機が発生しました。当局が自らの不正検知システムの仕組みを十分理解していなかったことが発覚したのです。当時、オランダの裁判所は、福祉詐欺を検知する別のアルゴリズム「SyRI」がプライバシー権を侵害していると判断し、その使用を停止していました。ワルヘレンの当局はSyRIを使用していませんでしたが、Lighthouse ReportsとWIREDが情報公開請求を通じて入手したメールには、政府職員が、自分たちのアルゴリズムが裁判所が非難したばかりのアルゴリズムと著しく類似していると懸念を表明していました。

ワルヘレン氏のシステムは、トッタ・データ・ラボ社によって開発された。2017年3月に契約を締結したこのオランダのスタートアップ企業は、情報公開請求を通じて入手した情報に基づき、匿名化された情報を選別するアルゴリズムを開発した。このシステムは、福祉給付金を受給している地域住民の個人情報を分析し、詐欺の可能性が高いと分類した人々のリストを人間の調査員に送信した。 

編集されたメールには、地元当局者が自らのアルゴリズムがSyRIスキャンダルに巻き込まれるのではないかと苦悩している様子がうかがえる。「誰もがSyRIについて読んでいるのに、なぜ私たちのアルゴリズムが許可されるのか説明できないと思います」と、ある当局者は判決の1週間後に書いた。別の当局者も同様の懸念を表明した。「トッタ・データ・ラボから、アルゴリズムが具体的に何をするのかについての情報も得られていませんし、それを検証する専門知識もありません」。トッタ・データ・ラボもワルヘレンの当局者もコメント要請には回答しなかった。 

オランダの独立研究機関である応用科学研究機構が、南ホラント州で使用されているトッタ社のアルゴリズムの監査を実施した際、監査官たちはその理解に苦慮しました。2021年の報告書には、「アルゴリズムの結果は再現性がないようだ」と記されており、アルゴリズムのリスクスコアを再現しようとした試みについて言及されています。「AIアルゴリズムが示すリスクは、大部分がランダムに決定されている」と研究者たちは結論づけています。 

透明性が乏しいため、技術的な欠陥を暴くにはしばしば何年もかかり、数千人の被害者も出ます。しかし、セルビアの事例は注目すべき例外です。2022年3月、政府はデータ処理を用いて個人の財務状況を評価し、社会保障プログラムの一部を自動化することを許可された新しい法律が施行されました。2020年にセルビアの社会問題大臣を務めたゾラン・ジョルジェヴィッチ氏は、この新しい 社会カードシステム（Socijalna Karta）は、政府が不正行為を検知するのに役立つと同時に、社会で最も疎外された人々に福祉給付が確実に届くようにするだろうと主張しました。 

しかし、制度導入から数か月以内に、首都ベオグラードの弁護士らは、すでに権利を剥奪されている少数民族であるロマ人コミュニティに対する差別を記録し始めた。 

生活保護受給者であるアフメトヴィッチ氏は、自身の発言が将来の給付金受給に影響する可能性があることを懸念し、氏名を明かすことを拒否した。彼は、2022年11月に妻と4人の子供がセルビアの首都郊外にある炊き出し場から追い出されるまで、社会カード制度について知らなかったという。ロマ人一家がそこにいることは珍しくなかった。彼らは生活保護受給者であり、政府から毎日食事を受け取る権利があったからだ。しかし、その日、ソーシャルワーカーから生活保護のステータスが変更され、毎日の食事が受けられなくなると告げられた。

家族はショックを受け、アフメトヴィッチさんは何が起こったのかを確認するため、最寄りの福祉事務所へ急ぎました。彼によると、新しい社会カードシステムが彼の銀行口座に11万セルビアディナール（1,000ドル）の収入を検知し、彼にフラグを立てたとのことです。つまり、これまで受け取っていた福祉給付の大部分を受け取れなくなったということです。アフメトヴィッチさんは困惑しました。この給付について何も知りませんでした。彼は自分の銀行口座さえ持っていませんでした。妻が家族の福祉給付金を自分の口座に受け取っていたのです。 

事前の警告もなく、生活保護の支給額は月額約7万ディナール（約630ドル）から4万ディナール（約360ドル）へと30%削減された。息子がてんかんと片麻痺を患い、両親ともに働けないため、アフメトヴィッチ一家は2012年から生活保護を含む様々な給付金を申請していた。生活保護の支給額が減ったため、アフメトヴィッチ一家は食料品の支出を削らざるを得なくなり、すべての請求書を支払う余裕がなくなった。負債は100万ディナール（約9,000ドル）以上に膨れ上がった。 

このアルゴリズムはセルビアのロマ社会に劇的な影響を与えました。アフメトヴィッチ氏によると、この制度導入以来、妹の生活保護給付も削減され、近隣住民の何人かも同様に減額されたとのことです。「一部の自治体では、ロマ居住地に住むほぼ全員が生活保護を失いました」と、セルビアの法的支援を行う非営利団体A11のプログラムコーディネーター、ダニロ・チュルチッチ氏は述べています。A11は、アフメトヴィッチ家をはじめとする100以上のロマ家族が生活保護を取り戻せるよう支援に取り組んでいます。

しかしまず、チュルチッチ氏はシステムの仕組みを理解する必要がある。これまで政府は、知的財産権を理由にソースコード公開の要請を拒否してきた。システム構築を実際に行った企業との契約に違反すると主張しているという。チュルチッチ氏と政府契約によると、自動化を専門とするセルビア企業Sagaが、この社会カードシステムの構築に関与していたという。Saga社もセルビア社会省も、WIREDのコメント要請には応じなかった。

ガブテック分野の成長に伴い、不正検知システムを販売する企業の数も増えている。そして、そのすべてがSagaのような地元のスタートアップ企業というわけではない。アクセンチュアはアイルランド最大の上場企業で、全世界で50万人以上の従業員を抱え、欧州各地の不正検知システムに取り組んできた。2017年には、オランダのロッテルダム市が生活保護受給者全員のリスクスコアを算出するシステムの開発を支援した。Lighthouse ReportsとWIREDが入手した、当初のプロジェクトを説明する社内文書には、アクセンチュアが構築した機械学習システムが数千人のデータを調べ、各人が生活保護不正を犯す可能性を判定したことが記載されている。「市は生活保護受給者を不法就労リスクの順に振り分け、最もリスクの高い個人を最初に調査できるようになる」と文書には記されている。 

ロッテルダム当局は、アクセンチュアのシステムは2018年まで使用されていたと述べている。その後、ロッテルダムの調査・ビジネスインテリジェンス部門のチームがアルゴリズムの開発を引き継いだ。Lighthouse ReportsとWIREDがロッテルダムの不正検知アルゴリズムの2021年版を分析したところ、このシステムは人種と性別に基づいて差別していることが明らかになった。また、2021年版システムの変数（性別、話し言葉、精神疾患歴など、福祉詐欺の可能性を計算するためにアルゴリズムが使用する情報カテゴリー）の約70%は、アクセンチュア版のものと同じように見えた。

類似点について尋ねられたアクセンチュアの広報担当者チネドゥ・ウデズエ氏は、同社の「スタートアップモデル」は契約終了時の2018年にロッテルダム市に移管されたと述べた。ロッテルダム市は、使用データが偏った結果を生み出すリスクがあると監査人が判断したため、2021年にこのアルゴリズムの使用を中止した。

アクセンチュアの欧州公共サービス責任者であるシェイルズ氏は、コンサルティング会社は通常、予測分析モデルを導入してから6～8ヶ月で撤退する傾向があると語る。彼のチームは、政府が業界の呪いとも言う「偽陽性」を回避するのを支援しているという。シェイルズ氏はこれを「偽陽性」と呼んでいる。アルゴリズムが誤って無実の人物を調査対象としてフラグ付けしてしまう、人生を台無しにする出来事を指す。「非常に客観的な見方のように思えるかもしれないが、厳密に言えば、それだけのことだ」とシェイルズ氏は主張する。アクセンチュアは、AIや機械学習を活用して意思決定を行う人間を置き換えるのではなく、改善することを顧客に推奨することで、この問題を軽減しているという。「つまり、AIの判断のみを理由に、国民が重大な悪影響を被らないようにするということです」 

しかし、これらのシステムによってフラグが付けられた人々を最終決定前に調査するよう求められているソーシャルワーカーは、必ずしも独立した判断を下しているわけではないと、キャンペーン団体プライバシー・インターナショナルで英国の福祉制度のアルゴリズムを研究したテクノロジー政策コンサルタントのエヴァ・ブラム＝デュモンテ氏は指摘する。「この人間は、AIの決定に影響を受けることになります」と彼女は言う。「人間が介入しているからといって、その人間が決定に疑問を呈する時間や訓練、能力を持っているとは限りません。」 

スキャンダルや度重なる偏見疑惑にもかかわらず、こうしたシステムを構築する業界は衰える気配を見せていない。そして、政府もこうしたシステムの購入や構築に意欲を燃やしている。昨年夏、イタリア経済財務省は、納税申告書、収入、資産記録、銀行口座の不一致を検索し、未納リスクのある人物を特定するアルゴリズムの導入を承認する法令を採択した。 

しかし、これらのシステムを採用する政府が増えるにつれて、誤って詐欺のフラグが立てられる人の数が増えています。そして、誰かがデータのもつれに巻き込まれると、そこから抜け出すのに何年もかかる可能性があります。オランダの児童手当スキャンダルでは、人々は車や家を失い、カップルはストレスから離婚に至ったと語っています。「経済的な苦しみは甚大です」と、影響を受けた1,000以上の家族を代理する弁護士、オーランド・カディールは言います。公的な調査の後、オランダ政府は2020年に家族に約3万ユーロ（3万2,000ドル）の補償金を支払うことに同意しました。しかし、負債は時とともに膨らみます。そして、その額では十分ではないとカディールは言い、現在25万ユーロの負債を抱えている家族もあると主張しています。 

ベオグラードで、アフメトヴィッチさんは家族の社会保障の全額受給再開を求めて闘い続けています。「何が起こったのか、なぜ起こったのか理解できません」と彼は言います。「コンピューターと競い合い、これが間違いだったと証明するのは難しいのです。」しかし、彼は社会保障カードシステムによって被った経済的損害に対する補償がいつになるのか、疑問に思っているとも言います。彼は、システムを開発・運営する企業や政府によって内部の仕組みが隠されている不透明なシステムに巻き込まれた、また一人の人間です。しかし、チュルチッチさんは何を変える必要があるのか​​明確に理解しています。「誰がアルゴリズムを作ったかは問題ではありません」と彼は言います。「アルゴリズムは公開される必要があります。」

追加レポートはガブリエル・ガイガーとジャスティン・カシミール・ブラウンが担当しました。