いわゆる「公平」なアルゴリズムが差別を永続させる可能性

2019年2月5日午前8時

AI の使用によって、前世紀の保険業界の不平等が再現されるリスクがある。

1967年の長く暑い夏、アメリカ全土で人種暴動が勃発した。159件に及ぶ暴動（あるいは反乱、どちらの側に属するかによって呼び名が異なる）は、主に警察と都市部の貧困地域に住むアフリカ系アメリカ人との衝突であった。暴動開始前のこれらの地域の荒廃と、その後の修復の難しさは、「レッドライニング」と呼ばれる状況に起因するとされた。これは保険会社の用語で、保険をかけるには危険すぎると判断された都市の地域を地図上に赤い線で囲むことを指す。

暴動からの復興を促進し、レッドライニングが暴動に及ぼした可能性のある影響に対処するため、リンドン・ジョンソン大統領は1968年に暴動被害地域の保険に関する大統領国家諮問委員会を設置した。委員会の報告書によると、少数派コミュニティが一度レッドライニングされると、レッドラインによってフィードバックサイクルが確立され、不平等が促進され続け、貧困地域から融資や保険の適用が奪われるという結果が出ていた。レッドライニングは、そもそもこれらの地域に影響を与えていた経済状況の悪化の一因となっていた。当時、保険会社が人種的マイノリティに保険を販売する際に、レッドライニングなどのあからさまな差別的慣行に携わっていたという多くの証拠があり、金融機関が融資を行う際に保険を義務付けているため、住宅や事業の取得希望者は融資を受けることができなかった。暴動が起こる前から、人々は資金調達ができないため、物を買うことも、建てることも、改築することも、修繕することもできなかった。

委員会の報告書を受けて、レッドライニングを禁止し、保険会社が都心部の開発地域に投資するインセンティブを与える法律が制定されました。しかし、レッドライニングは続きました。保険会社は、差別的な価格設定や都市部での保険販売拒否を正当化するために、特定の地域がもたらす統計的なリスクについて巧妙な主張を展開しました。

当時保険会社が用いた論拠――彼らの仕事は純粋に技術的なものであり、道徳的判断は伴わない――は、今日の一部のソーシャルネットワークプラットフォームが用いている論拠と非常によく似ている。つまり、彼らはアルゴリズムを実行する技術的なプラットフォームであり、コンテンツの判断に関与すべきではないし、実際に関与していない、という論拠である。保険会社は、自分たちの仕事は技術的、数学的、そして市場に基づく公平性と正確性の概念を遵守し、当時（そして今も）社会にとって最も重要な金融要素の一つと考えられているものを提供することだと主張した。彼らはただ自分の仕事をしているだけだと主張した。社会への二次的影響は、彼らの問題でもなければ、彼らの仕事でもないのだ。

こうして「保険数理上の公平性」という概念の論争の的となった歴史が始まった。この考え方は、やがて保険業界をはるかに超えて、警察や仮釈放、教育、そして最終的にはAIにまで広がり、その過程で、ますます市場志向型になる社会が、歴史的に使用されてきた道徳やコミュニティ基準に頼るのではなく、統計的かつ個人主義的な観点から公平性を定義しようとする動きをめぐって激しい議論を巻き起こした。

リスク分散は、何世紀にもわたって保険の中心的な信条となってきました。リスク分類の歴史は比較的浅いです。リスク分散の概念とは、教会や村などのコミュニティが、何か不幸なことが起こった際に個人を支援するために資源をプールし、リスクをグループ全体に分散させるという発想です。これは連帯の原則です。現代の保険では、個人にリスクレベルを割り当て、同じプールにいる他のリスクレベルがほぼ同じになるようにしました。これは個人主義的なアプローチです。このアプローチは、個人が、よりリスクを負いやすく費用のかかるプロファイルを持つ人の費用を負担することを防ぎます。この個人主義的なアプローチは、共産主義との戦争によって社会主義的すぎるものはすべて不人気になった第二次世界大戦後に、より普及しました。また、保険会社が市場で競争する上でも役立ちました。リスク分類を精緻化することで、保険会社は「良いリスク」と呼ばれるものを引きつけることができました。これにより、保険会社は請求費用を節約でき、競合他社は保険料がより高額な「悪いリスク」を引き受けざるを得なくなりました。

（アルゴリズムの公平性と保険数理政治を専門とする私の研究仲間、ロドリゴ・オチガメ氏が、歴史家のケイリー・ホラン氏を紹介してくれた。ホラン氏は、近々出版される『保険の時代：戦後米国における安全保障と統治の民営化』という本の中で、彼女の研究に基づいたこの記事の多くのアイデアを詳しく説明する予定である。）

リスク分散と連帯の原則という本来の考え方は、リスクを共有することで人々を結びつけ、相互扶助と相互依存の精神を促進するという考えに基づいていました。しかし、20世紀最後の数十年までに、この考え方は、保険会社が差別を正当化するために推進した、いわゆる保険数理上の公平性に取って代わられました。

当初、差別はあからさまな人種差別的な考え方と不当な固定観念に基づいていましたが、保険会社は進化を遂げ、一見洗練された計算式を用いて、差別が「公平」であることを示すようになりました。統計的に女性は長生きするため、年金保険料を高く支払うべきであり、黒人は犯罪や暴動が発生しやすい地域に住んでいるため、損害保険に高い保険料を支払うべきです。アメリカ社会全体にあからさまな人種差別と偏見が依然として存在していますが、保険の世界では、それらは数学や統計の裏に隠蔽され、専門家以外の人には理解しにくいため、反撃はほぼ不可能になっています。

1970年代後半には、女性活動家が公民権団体に加わり、保険のレッドライニングとリスク評価慣行に異議を唱えるようになりました。こうした新たな保険批判者たちは、保険リスク分類における性別の利用は性差別の一形態であると主張しました。保険会社は再び、統計と数理モデルを用いてこれらの非難に反論しました。リスク分類の決定に性別を利用することは公正であり、使用した統計は性別と保険対象となる結果の間に強い相関関係を示していると主張しました。

そして、保険批判者の多くは、保険数理上の公平性という議論に無意識のうちに賛同してしまいました。20世紀後半の公民権運動家やフェミニスト運動家たちは、保険業界との戦いに敗れました。なぜなら、彼らは特定の統計の正確性や特定の分類の妥当性について議論することに固執し、保険数理上の公平性（市場主導の価格設定の公平性という個人主義的な概念）が、そもそも保険のような重要かつ基本的な社会制度を構築する上で有効な方法なのかどうかを問うべきではなかったからです。

しかし、公平性と正確性は必ずしも同じではありません。例えば、ジュリア・アングウィン氏がProPublicaのレポートで、刑事司法制度で使用されているリスクスコアが有色人種に偏っていると指摘した際、アルゴリズムによるリスクスコアシステムを販売していた企業は、そのスコアは正確であるため公平であると主張しました。スコアは、有色人種が再犯する可能性が高いことを正確に予測していました。この再犯の可能性は再犯率と呼ばれ、釈放後に再び犯罪を犯す可能性を指し、主に逮捕データを用いて計算されます。しかし、この相関関係は差別を助長します。逮捕回数を再犯の指標として使用することは、アルゴリズムが逮捕における偏見を体系化することを意味するからです。例えば、警察官がより多くの有色人種を逮捕したり、貧困地域でより厳重にパトロールしたりする傾向があります。この再犯リスクは保釈金の設定や量刑、仮釈放の決定に利用され、犯罪発生率の高い地域に警察を派遣する予測型警察システムの情報源にもなっています。

これには明らかな問題がいくつかあります。リスクスコアが特定の集団の将来の結果を予測するのに正確だと信じるなら、黒人であるというだけで、ある人が刑務所で過ごす時間が長くなるのは「公平」だということになります。これは保険数理的には「公平」ですが、社会的、道徳的、あるいは差別反対の観点からは明らかに「公平」ではありません。

もう一つの問題は、裕福な地域では逮捕者数が少ないことです。これは、裕福な地域の人々が貧しい地域ほどマリファナを吸わないからではなく、警察の活動が少ないからです。当然のことながら、警察活動が過剰な地域に住んでいると再逮捕される可能性が高くなり、それがフィードバックループを生み出します。つまり、逮捕者が増えるほど再犯率も高くなるのです。少数派の地域でのレッドライニングが、保険に加入できない地域という自己成就的予言を生み出したのと全く同じように、過剰な警察活動と予測的な警察活動は短期的には「公平」で「正確」かもしれませんが、地域社会への長期的な影響は悪影響であることが示されており、貧困で犯罪が蔓延する地域という自己成就的予言を生み出しているのです。

アングウィン氏は最近のプロパブリカのレポートで、規制にもかかわらず、保険会社はリスクが同じであるにもかかわらず、少数民族コミュニティに白人コミュニティよりも高い保険料を請求していることを明らかにした。ボストン・グローブ紙のスポットライト・チームは、ボストン地域の世帯純資産の中央値は白人で24万7500ドル、非移民黒人で8ドルだったと報じている。これはレッドライン政策と、住宅および金融サービスへの不公平なアクセスの結果である。つまり、保険におけるレッドライン政策は違法であるものの、Amazonが「優良」顧客にAmazonプライムの無料当日配送を提供するという決定は、事実上レッドライン政策であり、過去の不公平さを、ますますアルゴリズム的な新しい方法で強化しているのだ。

保険会社と同様に、大手テクノロジー企業やコンピュータサイエンスのコミュニティも、「公平性」を数学とコードのみを用いた非政治的で高度に技術的な方法で捉える傾向があり、これが循環論法を助長しています。AIは、再犯率などの差別的慣行の結果を利用して、貧困、就職難、教育不足といった犯罪の根本原因に寄与する可能性のある投獄や過剰な警察活動といった慣行の継続を正当化するように訓練されています。私たちは、機械を用いて策定された政策が社会に及ぼす影響について、長期的な公的説明責任と理解可能性を求めるシステムを構築する必要があります。このシステムは、アルゴリズムが社会に与える影響を曖昧にするのではなく、理解を支援するものでなければなりません。アルゴリズムの使用方法、最適化の設定、データの収集と解釈方法について、市民社会が情報を得て関与できるメカニズムを提供する必要があります。

今日のコンピュータ科学者は、昔の保険数理士よりも多くの点で洗練されており、多くの場合、真摯に公平なアルゴリズムの構築に努めています。アルゴリズムの公平性に関する新しい文献は、通常、公平性と正確性を単純に同一視するのではなく、公平性と正確性の間の様々なトレードオフを定義しています。問題は、公平性を単純な自己完結的な数学的定義に還元できないことです。公平性は動的かつ社会的なものであり、統計的な問題ではありません。公平性は完全に達成されることはなく、民主主義社会において常に監査、適応、議論されなければなりません。過去のデータと現在の公平性の定義にのみ依存するだけでは、過去に蓄積された不公平が固定され、アルゴリズムとそれがサポートする製品は常に規範から遅れをとり、未来の理想ではなく過去の規範を反映し、社会の進歩を支援するのではなく遅らせることになります。

WIREDのその他の素晴らしい記事