Aレベル試験アルゴリズムの大失敗から私たち全員が学ぶべき教訓

何千人もの学生をアルゴリズムで採点しようとする政府の試みは、大失敗だった。8月16日、教育省の外に集まった数百人の学生抗議活動は、このことを如実に示していた。「アルゴリズムなんてクソくらえ！」と彼らは叫んだ。

こうした余波の中、法律、政策、データの専門家たちは、政治家に対し、このようなアルゴリズムシステムの開発プロセス、透明性、そしてリスクについて再考し、再び壊滅的な失敗を防ぐよう求めています。もしそうしなければ、将来のシステムはさらなる不平等をもたらす恐れがあります。「この種のモデルが多くの人々に及ぼしうる潜在的な危険性と不公平さが、今回の出来事によって真に浮き彫りになりました」と、非営利団体「Future of Privacy Forum」の政策顧問、ポリー・サンダーソン氏は述べています。

この「アルゴリズム」自体は複雑だが、比較的単純なものだ。機械学習や人工知能システムを搭載していない統計モデルなのだ。このシステムは、試験監督機関であるOfqualによって、全国で試験結果の標準化を図るために設計された。しかし、このシステムには大きな欠陥があり、特定の成績を達成できる生徒の数に制約を設け、学校の過去の成績に基づいて結果を算出していたため、予測結果の約40%が下方修正されていた。

システム開発における政治的決定とデータに対する基本的な誤解が、採点問題の原因だと非難されてきた。しかし、結局のところ、アルゴリズムは設計通りに動作し、人間主導の意思決定の産物だった。「重要なのはプロセスであり、目標、リスク軽減策、適切な精査と是正措置をめぐる問題です」と、エイダ・ラブレス研究所でAIとテクノロジーの社会への影響を研究するジェニー・ブレナン氏は述べている。ブレナン氏は、アルゴリズムが間違っていたのではなく、単にアルゴリズムが間違っていたのだと主張している。

しかし、これはまだ始まりに過ぎません。今後数年間で、アルゴリズムによる意思決定や意思決定支援システムがさらに活用されるようになるでしょう。Aレベル試験で採用されているアプローチとは異なり、将来のシステムには、AI主導の不透明な意思決定が含まれる可能性があります。こうしたリスクがあるにもかかわらず、政府、地方議会、警察など、公共機関が意思決定にアルゴリズムシステムをどのように活用しているかについては、明確な情報が得られていません。アルゴリズムシステムの使用状況に関する知見は、断片的なものであったり、個々の研究者によってまとめられたものであることが多いのです。

Aレベル試験のアルゴリズムは、公共部門における最初の重大な失敗ではありません。実際、今月初めてではありません。8月初旬、内務省は非営利団体フォックスグローブからの訴訟を受けて、国籍に基づいて採点する「人種差別的な」ビザ決定アルゴリズムを廃止しました（この団体はAレベル試験のシステムに対しても同様の訴訟を起こすと警告していました）。そして、ユニバーサル・クレジットの結果を左右するシステムには、依然として問題が続いています。

では、今回の失敗から何を学べるでしょうか?

人々は個別の結果を求めている

教育省の外に集まった学生たちは、アルゴリズムの決定に直接抗議する最初の人々となるだろう。学生たちは次々と、政治的アプローチの失敗によって何千人もの若者の将来の計画が台無しになったという、不公平な体験を語り、オンライン上では激しい怒りの爆発が巻き起こった。

「このことから、人々は個人の公正さを本当に大切に思っていることが分かります」と、オックスフォード大学で人間中心コンピューティングの准教授を務めるルーベン・ビンズ氏は述べています。人々は、自分の人生に関する決定が、自分自身でコントロールできない過去のデータに基づくものではなく、個人的なものであることを望んでいます。万人に当てはまるものは存在せず、人々は主に自分自身の結果とその公平性に関心を持っています。つまり、各個人の潜在能力が何かに反映され、それが全体の結果ではないということです、とビンズ氏は付け加えます。

続きを読む：警察は暴力犯罪を予測するAIを開発しましたが、重大な欠陥がありました

透明性が必要だ

Ofqualは、そのアルゴリズムに関する膨大な情報を公開しています。主に、システムの仕組みに関する319ページに及ぶ報告書を通じてです。この報告書では、統計モデルの精度、モデルの作成方法、そしてその動作の根拠が詳細に説明されています。

ブレナン氏は、これほど詳細な情報が公開されるのは稀だと述べている。研究者やアナリストにとってはこうした詳細は歓迎されるものの、アルゴリズムの影響を受けた人々にとっては役に立たない可能性がある。

「ここで欠けていたのは、アルゴリズムの目的に関する透明性と精査、そして十分な変更時間でした」とブレナン氏は付け加える。彼女は、アルゴリズムの個々の側面だけでなく、アルゴリズム全体への影響についてもっと検討すべきだったと指摘する。「適切なリスクと影響の軽減策を示すことで、もっとできることはあるはずです。」

成績インフレ（成績が年々上昇する現象）の傾向は、英国で長年政治問題となってきました。最終的なシステムの設計と開発に政治的決定がどれほど影響を与えたかは、これまで明らかにされていません。「成績インフレを阻止するという制約の中で、こうした問題のいくつかに直面せざるを得なかったのです」とビンズ氏は言います。

結局のところ、透明性の欠如をめぐる問題は、社会にプラスの影響を与える可能性のあるアルゴリズムシステムへの将来の信頼を損なう可能性があります。「これは、実際に何かが起きたり、噂が広まったりするまで、公的な議論や認識が生まれないことを意味します」と、倫理とテクノロジーの責任ある利用に関する専門家であるレイチェル・コルディカット氏は述べています。「透明性の欠如は信頼の欠如につながり、それが多くの憶測を生み、それは事態の改善に役立たないと思います。」

専門家のアドバイスが必要

アルゴリズムの統計的な問題（例えば、学校ごとに各学年で一定数の合格者しか出せないなど）は、導入前に発見できたはずだった。しかし、外部の専門家の助言は、結果発表の数ヶ月前に無視された。

英国王立統計協会（RSS）の会員は4月にオフクアルに協力を申し出たが、プロジェクトへの参加には5年間の秘密保持契約を結ばなければならなかった。RSSの専門家は、アルゴリズムの問​​題の一部は、独立した専門家の助言があれば回避できたはずだと考えていると述べた。

アドバイスは必ずしも専門家から得られるとは限りません。システムの影響を受ける人々を設計・開発プロセスに含めることも重要だと、Future of Privacy Forumのサラ・ジョーダン氏は言います。「学生たちはミクロレベルで物事を進めたいと考えています」と彼女は言います。

文句を言うのは簡単だろう

アルゴリズムによる意思決定の影響を受ける人々に対する法的保護については、混乱が生じています。欧州の一般データ保護規則（GDPR）および英国の2018年データ保護法では、人々の生活に関する意思決定が完全に自動化されている場合、不公平や差別が生じないよう、より強力な保護が与えられています。

オフクアルは自社のアルゴリズムに関するプライバシー声明で、これらの決定は完全に自動化されているとは考えていないと述べており、データ保護規制当局である情報コミッショナー事務局（ICO）も同様の見解を示している。しかし、これに異論を唱える人もいる。ノルウェーでも同様の予測が提示され、同国のデータ保護規制当局と衝突したことがある。かつてICOで人工知能（AI）と機械学習のアドバイザーを務めていたビンズ氏は、これらの決定は自動化されているように見えると述べている。

「自動意思決定ではないという彼らの主張は全く説得力がありません」と彼は言う。「成績は、アルゴリズムが各成績を何人の学生が取得できるかという判断によって決まります」と彼は付け加える。「どの成績を取得できるかについては、アルゴリズムが既に決定しているのです。」

マット・バージェスはWIREDの副デジタル編集長です。@mattburgess1からツイートしています。

この記事はWIRED UKで最初に公開されました。