2016年11月下旬、私はアレゲニー郡児童・青少年・家族局(CYF)の児童虐待・ネグレクトホットラインのコールスクリーニングセンターにある、灰色の個室が長く並ぶ隅っこに押し込められていた。受付担当者のパット・ゴードンと机と小さな紫色のフットスツールを共有している。二人とも、KIDS(Key Information and Demographics System)という青い画面で、ケースノート、人口統計データ、プログラム統計がぎっしり詰まっている。私たちは二つの家族の記録に集中している。どちらも貧困層で白人、ペンシルベニア州ピッツバーグ市在住だ。どちらも、保護者から子どもが危害を受けるリスクがあるという疑いがあれば、法律で報告義務を負う専門家、いわゆる「義務報告者」からCYFに紹介された。パットと私は、郡が児童虐待とネグレクトを予測するために使用している「アレゲニー家族スクリーニングツール(AFST)」と呼ばれる新しい予測リスクモデルが、彼らにどのようなスコアをつけるかを予想しようと競い合っている。
リスクは大きい。米国疾病対策センター(CDC)によると、子どもの約4人に1人が生涯のうちに何らかの虐待またはネグレクトを経験する。CDCの「子ども時代の逆境体験研究」は、虐待やネグレクトの経験は「私たちの健康と生活の質に生涯にわたって甚大な影響を与える」と結論付けており、薬物やアルコールの乱用、自殺未遂、うつ病の発生率増加などが含まれる。

今週セント・マーチンズ・プレスから出版された『Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor』より抜粋。
騒々しいガラス張りの部屋で、パットは「リスク/重大度連続体」という両面印刷の紙を私に手渡した。透明なプラスチックの封筒で保護され、机の奥の書類の山の中に挟まれていたその紙を見つけるのに、彼女は1分かかった。彼女は5年間、電話スクリーニングの仕事に就いており、「ほとんどの労働者は、これを記憶しているでしょう。ただ知っているだけです」と言う。しかし、私にはさらなる助けが必要だった。私はただ見ているだけだとしても、この決定の重みに圧倒されていた。ぎゅうぎゅう詰めの小さな文字の列から、5歳未満の子供はネグレクトや虐待のリスクが最も高いこと、過去の確証のある報告があれば家族が調査される可能性が高くなること、そしてCYFの調査員に対する親の敵意は高リスク行動とみなされることを知った。私は時間をかけて、郡のデータベースの情報とリスク/重大度の配布資料を照合しました。その間、パットは私を睨みつけ、からかい、リスク モデルを実行する大きな青いボタンをクリックすると脅しました。
パットと私が最初に評価する子供は、6歳の男の子で、ここではスティーブンと呼ぶことにします。スティーブンの母親は、不安障害でメンタルヘルスケアを求めており、郡の資金援助を受けているセラピストに、11月初旬のある日に、何者か(誰だかは分かりませんが)がスティーブンを自宅のポーチに置き去りにしたことを告げました。彼女は外で泣いているスティーブンを見つけ、家に連れて帰りました。その週、スティーブンは問題行動を起こし始め、彼女は何か悪いことが起こったのではないかと心配しました。彼女はセラピストに、スティーブンが虐待を受けたのではないかと疑っていることを打ち明けました。セラピストは彼女を州の児童虐待ホットラインに通報しました。
しかし、泣いている子供をポーチに放置することは、ペンシルベニア州の定義する虐待やネグレクトには該当しません。そのため、受付担当者はその電話を除外しました。通報は根拠のないものでしたが、通報記録とスクリーナーのメモはシステムに残っています。1週間後、ホームレス支援機関の職員が再びホットラインにスティーブンを通報しました。スティーブンは汚れた服を着ており、衛生状態も悪く、母親が薬物を乱用しているという噂もありました。この2件の通報以外、この家族はCYFに前歴はありませんでした。
2人目の子供は14歳で、ここではクリストフと呼ぶことにします。11月初旬、大規模な非営利団体のケースマネージャーが地域保健の家庭訪問を行った際、窓とドアが壊れていて、家の中が寒々としているのを発見しました。クリストフは重ね着をしていました。ケースワーカーは家の中にペットの尿の臭いが漂っていると報告しました。一家はリビングルームで寝ており、クリストフはソファ、母親は床で寝ています。ケースマネージャーは部屋が「散らかっている」と感じました。これらの状況がペンシルベニア州の児童虐待の定義に該当するかどうかは不明ですが、この一家は長年、郡の支援プログラムに関わってきました。
定義の問題
誰も子供たちが苦しむことを望んでいませんが、子供たちの安全を守る上で政府が果たす適切な役割は複雑です。州は、1974年にリチャード・ニクソン大統領によって署名され成立した児童虐待防止法に基づき、児童虐待とネグレクトを防止、捜査、起訴する権限を有しています。この法律では、児童虐待とネグレクトを「児童の福祉に責任を負う者が、児童の健康または福祉が害されている、または脅かされていることを示す状況下で、児童に対する身体的または精神的な傷害、性的虐待、不注意な扱い、または虐待」と定義しています。
近年、被害が「深刻」でなければならないという明確な規定が設けられましたが、ネグレクトや虐待とは何を指すのかについては、主観的な判断の余地がかなりあります。お尻を叩くことは虐待でしょうか?あるいは、握りこぶしで子どもを叩くことは虐待に当たるでしょうか?子どもたちを近所の公園に一人で行かせるのは、ネグレクトに当たるでしょうか?たとえ窓から子どもたちの姿が見えたとしても?
KIDSで虐待と分類される状況リストの最初の画面は、コールスクリーナーが子育て行動を虐待またはネグレクトとして分類する際に、どれほどの裁量権を持っているかを示しています。リストには、乳児の遺棄、遺棄、養子縁組の中断または解消、養育者の対応能力の欠如、児童の性的行動、児童の薬物乱用、児童を危険にさらす親の行為、体罰、医療サービスの遅延または拒否、10歳未満の児童の非行、家庭内暴力、教育的ネグレクト、環境有害物質、危険物への曝露、家からの追放、保護の不履行、ホームレス、不適切な衣服、衛生状態、身体的ケアまたは食事の提供、不適切な養育者またはしつけ、他者による傷害、孤立などが含まれます。リストはさらにいくつかの画面にわたってスクロールします。
児童福祉調査の4分の3は、身体的、性的、または精神的虐待ではなく、ネグレクトに関するものです。貧困の日常的な状況と児童ネグレクトの境界線は特に厄介です。貧困家庭に共通する多くの問題は、公式には児童虐待と定義されており、十分な食料がない、住居が不適切または安全でない、医療を受けられない、仕事中に子供を一人にしておくなどが含まれます。ホームレス家庭は、ホームレス状態そのものがネグレクトとみなされるため、子供を引き留めておくことが特に困難です。
ペンシルベニア州では、虐待とネグレクトの定義はかなり狭くなっています。虐待とは、身体に傷害を与え、障害または著しい苦痛を与えること、性的虐待または搾取、精神的損傷を引き起こすこと、あるいはこれらのいずれかが発生する差し迫った危険があることを指します。ネグレクトとは、「長期にわたる、または反復的な監督の欠如」が「子供の生命または発達を危険にさらし、または子供の機能を損なう」ほど深刻であることを指します。そのため、パットと私がリスク/重症度マトリックスを検証した結果、スティーブンとクリストフのスコアはかなり低くなるはずだと考えています。
どちらのケースも、負傷の報告はなく、過去の虐待の証拠も、深刻な精神的被害の記録も、薬物使用の証拠も見つかっていない。10代のクリストフ君の家の暖房が不十分なのは心配だが、差し迫った危険にさらされているとは言えない。パットさんは、6歳のスティーブン君について2週間で2件も電話があったことを心配している。「文字通りドアを閉めたのに、また電話がかかってきたんです」と彼女はため息をつく。これは、ネグレクトや虐待の兆候が現れている、あるいは家族が危機的状況にあることを示唆しているのかもしれない。ホームレス支援機関からの電話は、スティーブン君と母親が路上生活を送るに至ったほど、家庭環境が急速に悪化したことを示唆している。しかし、2人の少年にとって、差し迫った危害のリスクは低く、身体的な安全が脅かされることもほとんどないという点では、私たちは一致している。
1から20のスケールで、1が最もリスクが低く、20が最もリスクが高いとすると、スティーブンは4、クリストフは6になるだろう。ゴードンはニヤリと笑い、AFSTを実行するボタンを押した。画面には温度計のようなグラフが表示された。下は緑色で、黄色を経て、上は鮮やかな赤色に変わっていく。数字はゴードンの予測通りだった。性的虐待を受けた可能性があり、ホームレスになっている可能性のある6歳のスティーブンは5。寒いアパートのソファで寝ている10代のクリストフは?14だ。
貧困層の過剰サンプリング
ビッグデータ、アルゴリズムによる意思決定、そして予測分析が、貧困、ホームレス、暴力といった最も厄介な社会問題を解決できるという信念は、私たちの文化的な信条と深く共鳴しています。しかし、その信念は見当違いです。表面的には、統合データと人工知能は公共サービスの運営に革命的な変化をもたらすように見えます。コンピューターはあらゆるケースに一貫して偏見なくルールを適用するため、支持者は差別や無意識の偏見を根絶できると主張します。番号照合と統計監視は、生活保護受給者の支出、移動、そして人生の選択を容易に追跡できるため、不正行為の摘発や行動介入の提案に活用できます。予測モデルは、過去の「類似」した人々の行動に基づいて個人の将来の行動を推測するデータマイニングを行うことで、より効果的な資源配分を約束します。
こうした壮大な希望は、デジタルによる意思決定は人間の意思決定よりも本質的に透明性、説明責任、そして公平性が高いという前提に基づいています。しかし、データサイエンティストのキャシー・オニールが述べているように、「モデルとは数学に埋め込まれた意見である」のです。モデルは、不要な情報を取り除き、達成しようとしている成果にとって最も重要な点のみに焦点を当てることができるため、有用です。しかし、モデルは抽象的な概念でもあります。モデルに何を組み込むかという選択は、作成者の優先事項や関心を反映しています。アレゲニー家系スクリーニングツールも例外ではありません。
AFSTは、オークランド大学経済学教授のレマ・ヴァイティアナサン氏と、南カリフォルニア大学児童データネットワーク所長のエミリー・パトナム=ホーンスタイン氏が率いる、経済学者、コンピューター科学者、社会科学者からなる国際チームによって設計された統計モデルです。このモデルは、アレゲニー郡の膨大なデータウェアハウスをマイニングし、将来虐待やネグレクトの被害者となる可能性のある子供を予測します。このウェアハウスには、児童福祉、薬物・アルコールサービス、ヘッドスタート、メンタルヘルスサービス、郡住宅局、郡刑務所、州公共福祉局、メディケイド、ピッツバーグ公立学校など、さまざまな公共機関から定期的に抽出されたデータから得られた10億件以上の記録(郡民1人あたり平均800件)が保存されています。
パット・ゴードン氏のような受入審査官の仕事は、郡が毎年受け取る1万5000件の児童虐待報告のうち、どれをケースワーカーに調査を依頼するかを決定することです。受入審査官は、報告者にインタビューし、事件記録を精査し、郡のデータウェアハウスを徹底的に調べ、裁判記録やソーシャルメディアなどの公開データを検索することで、養育者に対する申し立ての性質を判断し、児童への差し迫ったリスクを突き止めます。そして、モデルを実行します。
Vaithianathanチームが実施した回帰分析によると、郡のデータには児童虐待と相関関係にある指標が131あることが示唆されました。AFSTはこれらの「予測変数」に重み付けを行い、1(低リスク)から20(最高リスク)までのリスクスコアを生成します。リスクスコアには、郡の保健医療または精神保健治療を受けていること、薬物またはアルコール乱用の報告を受けていること、補足栄養支援プログラム、現金福祉支援、または補足的社会保障所得(SSE)を受けていること、貧困地域に住んでいること、少年保護観察制度を利用していることなどが含まれます。スクリーナーの評価とモデルのスコアが矛盾する場合、ケースは監督者に送られ、さらなる議論と最終的なスクリーニングの決定が下されます。家族のAFSTリスクスコアが十分に高い場合、システムは自動的に調査を開始します。
人間の選択、偏見、そして裁量は、いくつかの方法でシステムに組み込まれています。まず、AFSTは児童虐待やネグレクトを実際にモデル化するものではありません。アレゲニー郡における児童虐待関連の死亡者数および死亡寸前の人数は、幸いなことに非常に少ないです。これは、実際の児童虐待に関するデータがあまりにも限られているため、実用的なモデルを作成することができないことを意味するため、AFSTは児童虐待の代わりに代理変数を使用します。代理変数の一つは、コミュニティの再紹介です。これは、児童に関するホットラインへの通報が当初はスクリーニングで除外されたが、CYFが2年以内に同じ児童に関する別の通報を受けた場合です。二つ目の代理変数は、児童の委託です。これは、児童に関するホットラインへの通報がスクリーニングで除外され、その結果、2年以内に児童が里親委託された場合です。つまり、AFSTは実際には、どの児童が危害を受けるかではなく、地域社会(どの家族をホットラインに通報するか)とCYFおよび家庭裁判所(どの児童を家族から引き離すか)による決定をモデル化しているのです。
AFSTの設計者と郡の管理者は、このモデルによって通話スクリーニングの推測作業が不要になり、受入スクリーニング担当者の意思決定におけるバイアスのパターンが明らかになることを期待している。しかし、2010年にアレゲニー郡CYFで行われた人種的不均衡に関する調査では、郡の児童福祉サービスにおける不均衡の大部分は、スクリーニングのバイアスではなく、紹介のバイアスから生じていることが判明した。義務報告者やコミュニティの他のメンバーが黒人や混血家庭について児童虐待やネグレクトのホットラインに通報する頻度は、白人家庭に関する通報の3.5倍である。AFSTは、人種的不均衡が実際にシステムに入り込む段階である紹介に集中するのではなく、実験的に制御できる段階である通話スクリーニングに、その予測力と計算力のすべてを集中させている。
さらに厄介なのは、制度に最も人種的偏見をもたらす行為は、まさにモデルが虐待を定義する方法そのものであるという点です。AFSTは、コミュニティへの紹介に起因する不均衡をいくらか軽減するために、CYF調査官と家庭裁判所判事の専門的判断を活用できる可能性のある2つの代理変数を平均化していません。モデルは、どちらか大きい方の数値を採用するだけです。
第二に、このシステムは収集したデータに基づいてのみ結果をモデル化できる。これは当たり前のことのように思えるかもしれないが、スティーブンとクリストフがなぜこれほどまでに大きく乖離した、直感に反するスコアを得たのかを理解する上で極めて重要である。AFSTが虐待とネグレクトを予測するために用いる変数の4分の1は、貧困の直接的な指標である。つまり、TANF(補助的社会保障所得)、SNAP(緊急一時金)、郡の医療扶助といった、所得調査に基づくプログラムの利用状況を追跡するものだ。さらに4分の1は、少年保護観察やCYF(児童保護観察制度)自体との関わりを測定するもので、これらの制度は貧困層や労働者階級、特に有色人種のコミュニティに偏って焦点を当てている。AFSTは子どもへの危害を予測する水晶玉と謳われているものの、実際には、AFSTは主に家族がどれだけの公共資源を消費したかを報告しているに過ぎない。
アレゲニー郡は、公的プログラムの利用状況について膨大な量の情報を有している。しかし、公的サービスを利用していない人々のデータにはアクセスできない。民間の薬物治療、メンタルヘルスカウンセリング、あるいは経済的支援を受けている親は、国土安全保障省のデータには反映されていない。彼らの行動を記述する変数が定義されておらず、回帰分析にも組み込まれていないため、児童虐待というパズルの重要なピースがAFSTから欠落しているのだ。
例えば、地理的な孤立は児童虐待の重要な要因となる可能性がありますが、アレゲニー郡で公共サービスを利用している家庭のほとんどが密集した都市部に住んでいるため、データセットには反映されません。裕福な郊外で比較的孤立した生活を送っている家庭は、過密な住宅環境に住む家庭に比べて、児童虐待やネグレクトのホットラインに通報される可能性がはるかに低くなります。裕福な介護者は民間保険に加入していたり、精神疾患や依存症の治療に自己負担をしたりするため、郡のデータベースには含まれていません。
もしアレゲニー郡が、中流家庭における児童虐待を予測するために、乳母、ベビーシッター、個人セラピスト、アルコール依存症者匿名会、高級リハビリセンターからの月次報告書を含めることを提案したら、どれほどの騒動になるか想像してみてください。「民間の保険データを入手できれば本当に嬉しいです。ぜひ入手したいです」と、アレゲニー郡データ分析・研究・評価局長のエリン・ダルトン氏は言います。しかし、彼女自身も認めているように、民間データの入手はおそらく不可能でしょう。専門職に就く中流階級の人々は、そのような押し付けがましいデータ収集には耐えられないでしょう。
貧困による窮乏は、紛れもなく子どもたちに有害です。そして、親にとっても有害です。しかし、AFSTは公的資金を利用している家庭のデータのみに頼ることで、児童福祉の精査において低所得家庭を不当に標的にしています。「私たちは明らかに貧困層のサンプルを過剰に抽出しています」とダルトン氏は言います。「私たちが持っているデータシステムはすべて偏っています。それでも、このデータは子どもたちを守るのに役立つと考えています。」
これを貧困プロファイリングと呼ぶこともできます。人種プロファイリングと同様に、貧困プロファイリングは、個人の行動ではなく、貧困状態にあるという個人的な特性に基づいて、個人を綿密に精査します。このモデルは、貧困状態にある間の子育てと、実際には子育てが不十分な状態にあることを混同しているため、AFSTは公的支援に頼る親を、子供にとってのリスクと見なしています。
偽陽性と偽陰性
予測モデルにおいては、不適切な代理変数や不十分なデータセットの使用に伴う危険性は避けられないかもしれません。児童虐待・ネグレクトの調査が無害な行為であれば、AFSTの予測精度が不完全であることは問題にならないかもしれません。しかし、児童虐待・ネグレクトの調査は、永続的な悪影響を及ぼす、侵入的で恐ろしい出来事となる可能性があります。
ペンシルベニア州が掲げる児童の安全目標「差し迫った身体的または精神的危害を受けないこと」は、たとえ十分な資金を持つ家庭であっても達成が難しい場合があります。児童虐待防止法(CYF)の調査の各段階には、主観、偏見、そして運に左右される可能性があります。「何が起こるかは予測できません」と、児童虐待防止法(CYF)の調査や親権剥奪に直面している親に無償の法的支援を提供する少年裁判所プロジェクトのディレクター、キャサリン・ボルポーニ氏は言います。「例えば、子供たちが家に一人でいるという通報があったとします。その後、母親と調査を進め、母親がマリファナの使用を認めたとします。すると、おそらくマリファナを地獄への入り口と見なしている裁判官の前に立たされます。扉が開いた瞬間、私たちが気にも留めなかったことが、一気に大きな問題へと発展してしまうのです。」
児童虐待やネグレクトに関する調査の終了時には、家族と共同で書面による安全計画を作成し、直ちに実行すべき措置と長期的な目標を特定します。しかし、それぞれの安全対策は遵守義務でもあり、保護者の手に負えない要因によって計画の実施が困難になる場合もあります。CYFが関与する家族にサービスを提供する請負業者が、計画を履行しないケースもあります。公共交通機関は不安定で、ケースワーカーは業務量が多すぎて、約束されたリソースを手配できない場合もあります。保護者は、政府による私生活への介入に憤慨し、CYFの指示に抵抗することもあります。
計画を完了できない場合、理由を問わず、子どもが里親に預けられる可能性が高まります。「私たちはCYFの家族を以前のレベルに戻そうとはしていません」とヴォルポーニ氏は結論づけます。「私たちは彼らの子育ての水準を高めますが、その水準を維持するためのリソースが不足しています。その結果、多くの場合、壮大な失敗に終わってしまうのです。」
児童福祉分野においては、その発祥以来、人間のバイアス(偏り)が問題となってきた。モデル設計者と国土安全保障省(DHS)の管理者たちは、AFST が豊富なデータを活用することで、主観的な受入審査官がより客観的な推奨を行えるよう支援できると期待している。しかし、予測リスクモデルには人間のバイアスが組み込まれている。結果変数は児童への危害の代理変数であり、実際のネグレクトや虐待を反映したものではない。代理変数の選択、さらには代理変数を使用するかどうかの選択自体が、人間の裁量に左右される。AFST の予測変数は、公的リソースに関する情報のみを含む限られたデータから抽出される。こうした限られたデータを受け入れるという選択は、モデルに組み込まれた人間の裁量、そして中流家庭は貧困家庭よりもプライバシーが尊重されるべきだという前提を反映している。
大きな青いボタンがクリックされ、AFSTが作動すると、証拠に基づく客観性と絶対確実性という仮面の下に、無数の目に見えない人間の選択が顕在化する。このモデルの支持者たちは、コールスクリーナーから裁量権を奪うことは、政府の意思決定における公平性、透明性、そして公正性に向けた勇気ある一歩だと主張する。しかし、AFSTは人間の裁量権を奪うのではなく、単に移動させるだけだ。かつては、コールセンターで働く労働者階級の女性たちが、機関の意思決定に一定の影響力を及ぼしていた。今日、アレゲニー郡は、国際的な経済学者とデータ分析者からなるチームが、何らかの理由で機関職員よりも偏見が少ないという、疑わしい前提に基づいたシステムを導入している。
コールセンターに戻り、パット・ゴードンに、CYFに関わっている親御さんたちにAFSTが彼らにどのような影響を与えるか話していたことを伝えた。多くの親御さんは、実際にはほとんどリスクがないのに、モデルが自分の子供を虐待やネグレクトのリスクが高いと評価してしまうという誤判定を心配している、と彼女に伝えた。クリストフの母親が、もし自分の家族のリスクスコアにアクセスできたら、同じように感じるだろうことは理解できる。
しかし、パットはスティーブンのケースも同様に厄介な問題を提起していると指摘した。私は偽陰性、つまり、疑惑や子供への差し迫ったリスクが深刻であるにもかかわらず、AFSTが子供を低リスクと評価してしまうというケースにも懸念を抱くべきだ。「例えば、彼らに重大な病歴はなく、私たちと積極的に活動しているわけでもない。しかし、(疑惑は)非常に甚だしいものだ。[CYF]は私たちに自ら考える余地を与えてくれる。しかし、私はどうしても懸念を抱かざるを得ない。例えば、子供が成長板を骨折していて、これは虐待と非常に密接に関連している。骨折させる方法が1つか2つしかない。なのに[スコア]が低いなんて!」
AFSTリスクスコアを表示する画面には、このシステムは「調査やその他の児童福祉に関する決定を行うためのものではない」と明記されている。レマ・ヴァイティアナサン氏は2017年2月、このモデルは受入スクリーナーが予測精度に疑問を抱き、自らの判断に従うように設計されていると語った。「矛盾しているように聞こえるかもしれませんが、私はこのモデルがコールスクリーナーによって多少なりとも弱められることを望んでいます」と彼女は述べた。「彼らには、『この[スクリーニングスコア]は20ですが、この疑惑はごくわずかで、このモデルが私に伝えているのは、単に過去があるということだけです』と言えるようにしたいのです」
パット・ゴードンのような受付スクリーナーの人間的な裁量と、モデルが提供する過去のデータを深く掘り下げる能力を組み合わせることが、システムの最も重要な安全装置です。コールセンターでの滞在も終わりに近づき、私はパットに、偽陰性や偽陽性がアレゲニー郡の家族にもたらすかもしれない害が夜も眠れないほど心配なのかと尋ねました。「まさにその通りです」と彼女は答えました。「ダウンタウンの人たちは本当にそれを理解しているのでしょうか。私たちはこんなことを仕事に求めているわけではありません。本当に。理解してほしいです。」しかし、ウーバーの人間の運転手のように、アレゲニー郡のコールスクリーナーも、自分たちに取って代わるアルゴリズムを訓練しているのかもしれません。
未来の世代
テクノロジー企業は貧しい人々を助けたいと言うが、本当にそうだろうか?
児童虐待はあなたの人生に影響を与えるだけでなく、あなたの脳にも変化をもたらします
虐待について話すのは難しいですが、これらの絵文字は話しやすくしてくれます