AIを監視するツールを開発するスタートアップ企業

1月、リズ・オサリバンは人工知能（AI）スタートアップ企業クラリファイの上司に手紙を書き、国防総省との契約に倫理的な制限を設けるよう要請した。WIREDは以前、同社がドローン画像を処理する物議を醸すプロジェクトに取り組んでいることを報じていた。

オサリバン氏はCEOのマシュー・ザイラー氏に対し、誰を傷つけるか、誰を殺すかを自ら決定する兵器の開発に同社が寄与しないことを誓約するよう求めた。オサリバン氏によると、数日後の社内会議でザイラー氏はこの要請を拒否し、自律型兵器への寄与に問題はないと社員に伝えたという。クラリファイ社はコメント要請に応じなかった。

オサリバンは決意を固めた。「辞めたんです」と彼女は言う。「そして週末はずっと泣いていました」。しかし月曜日、彼女は以前から計画していたテクノロジーにおける公平性と透明性に関する学術会議に出席した。そこで彼女は、以前キャピタル・ワンでAI研究を率いていたアダム・ウェンチェルと出会い、企業のAI導入をコントロールする支援というビジネスチャンスについて語り合った。

オサリバン氏とウェンチェル氏は現在、スタートアップ企業Arthurの共同創業者を務めている。同社は、エンジニアが機械学習システムのパフォーマンスを監視できるツールを提供している。これらのツールは、金融システムが偏った融資や投資判断を行っているといった問題を容易に発見できるようにするとされている。Arthurは、AI時代のデジタル安全装置の構築で利益を上げようとしている、大小さまざまな企業の一つだ。

研究者やテクノロジー企業は、顔認識アルゴリズムが黒人の顔に対して精度が低下するなど、AIの誤作動について警鐘を鳴らしている。マイクロソフトとグーグルは現在、投資家に対し、自社のAIシステムが倫理的または法的問題を引き起こす可能性があると警告している。アーサー・アンド・カンパニーのコマーシャルオペレーション担当副社長であるオサリバン氏は、AI技術が金融、医療、政府などの他の業界に普及するにつれて、新たな安全対策も必要になると述べた。「人々はこれらのシステムがどれほど強力であり、そのメリットを責任ある方法で活用する必要があることに気づき始めています」と彼女は言う。

アーサーをはじめとするスタートアップ企業は、近年のAIブームの原動力である機械学習の欠点に取り組んでいる。人間が書く通常のコードとは異なり、機械学習モデルは過去のデータからパターンを抽出することで、例えば誰がローンを組むべきかといった特定の問題に適応する。しかし、その適応、つまり学習の過程で行われる多くの変化は、容易に理解できないことが多い。「いわば機械に独自のコードを書かせるようなもので、人間が理解できるようには設計されていない」と、機械学習ソフトウェアのデバッグを支援する独自のツールを提供するスタートアップ企業Weights & BiasesのCEO兼創業者、ルーカス・ビーワルド氏は語る。

研究者たちは、一部の機械学習システムを「ブラックボックス」と呼んでいます。これは、システムの作成者でさえ、その仕組みや特定の決定を下した理由を正確に説明できないことがあるためです。アーサー氏らはこの問題を完全に解決したとは主張していませんが、機械学習ソフトウェアの挙動をより簡単に観察、視覚化、監査できるツールを提供しています。

機械学習に多額の投資を行っている大手テクノロジー企業は、自社向けに同様のツールを開発しています。Facebookのエンジニアは、「Fairness Flow」と呼ばれるツールを活用し、求人広告推奨アルゴリズムが様々なバックグラウンドを持つ人々にも機能することを確認しました。ビーワルド氏によると、大規模なAIチームを持たない多くの企業は、自社でそのようなツールを開発することを望まず、代わりに彼のような企業に頼ることになるという。

Weights & Biasesの顧客にはトヨタの自動運転研究所が含まれており、同研究所は同社のソフトウェアを使用して、機械学習システムを新しいデータで学習させる際の監視と記録を行っている。ビーワルド氏によると、これによりエンジニアはシステムの信頼性を高めるための調整が容易になり、後々発生する不具合の調査も迅速化されるという。同氏のスタートアップは既に2,000万ドルの資金調達に成功している。同社の他の顧客には、独立系AI研究機関のOpenAIも含まれる。OpenAIは同社のロボット工学プログラムに同社のツールを利用しており、今週は改良されたルービックキューブを（場合によっては）解けるロボットハンドのデモンストレーションを行った。

アーサーのツールは、金融取引やオンラインマーケティングなど、AI導入後の企業の監視と維持管理を支援することに重点を置いています。機械学習システムのパフォーマンスが時間とともにどのように変化するかを追跡できます。例えば、金融システムがローン推奨を行う際に、市場がシステムの学習条件から逸脱し、特定の顧客を除外し始めた場合に警告を発することができます。性別や人種に基づいて人々に不均衡な影響を与える信用判断を行うことは違法となる可能性があります。

昨年、OpenScaleというサービスの一環としてAI透明性ツールを発表したIBMと、1,000万ドルを調達した別のスタートアップ企業Fiddlerは、どちらもAI検査ツールを提供しています。IBMリサーチのチーフサイエンティスト、ルチール・プリ氏によると、KPMGは顧客のAIシステムの監視にOpenScaleを利用しており、全米オープンでは、自動的に選択されたテニスのハイライト動画に、性別やランキングの異なる選手がバランスよく含まれているかどうかを確認するためにOpenScaleが使用されたとのことです。Fiddlerは、金融情報会社S&P Globalおよび消費者金融会社Affirmと提携しています。

アーサーのCEOであるウェンチェル氏は、AI監視・監査技術は、ヘルスケアなど、テクノロジー分野以外の生活の様々な分野にAIをより深く浸透させるのに役立つと主張している。ウェンチェル氏は、金融セクターにおいて、AIシステムの信頼性に関する正当な懸念がAI導入を阻んできたことを直接目にしてきたと述べている。「多くの組織が意思決定のために機械学習を導入したいと考えていますが、それが正しい判断を下し、偏った判断をしていないことを確認する方法が必要です」とウェンチェル氏は語る。アーサーの他の共同創業者は、同じくキャピタル・ワンの元社員であるプリシラ・アレクサンダー氏と、メリーランド大学のAI教授ジョン・ディッカーソン氏である。

アーサーは、AIが考古学に足場を築くのにも貢献しています。ハーバード大学ダンバートン・オークス研究所は、コンピュータービジョンアルゴリズムを用いて、戦争によって立ち入りが制限され、危険にさらされているシリアの古代建築の写真をカタログ化するプロセスをいかに迅速化できるかを研究するプロジェクトに、このスタートアップ企業の技術を活用しています。アーサーのソフトウェアは、画像に注釈を付け、特定のラベルを付与するソフトウェアの判断に影響を与えたピクセルを示します。

ダンバートン図書館のエグゼクティブディレクター、ヨタ・バツキ氏は、この取り組みはソフトウェアの強みと限界を明らかにし、自動化があまり進んでいないコミュニティにおいてAIが受け入れられるようになるのに役立つと述べています。「図書館員や他の研究者との信頼関係を築くには、モデルが行っている解釈や、モデルがどのように『思考』しているかを評価することが不可欠です」と彼女は言います。

オサリバン氏は今もAI活動家として活動している。彼女は非営利団体「監視技術監視プロジェクト」の技術ディレクターを務め、自律型兵器の国際的な禁止を求める「キラーロボット阻止キャンペーン」の活動的なメンバーでもある。

しかし、彼女とアーサーの共同創業者たちは、政府や国防総省でさえAIを完全に排除すべきではないと考えている。アーサーの最初の顧客の一つはアメリカ空軍で、オクラホマ州ティンカー空軍基地で6ヶ月間の試作契約を同社に発注した。その契約では、B-52爆撃機のエンジンに影響を及ぼすサプライチェーンの問題を予測するソフトウェアの開発に取り組んだ。このプロジェクトは、不要なコストと遅延を削減することを目指している。

オサリバン氏によると、こうした仕事は、機械に人の命や自由を奪う権限を委ねることとは全く異なるという。アーサーは、引き受けるすべてのプロジェクトの潜在的な影響を精査し、正式な社内倫理規定の策定に取り組んでいる。「極端なユースケースは依然として規制するか、明るみに出ないようにする必要がありますが、政府にはAIを活用して状況を改善する余地が大いにあります」とオサリバン氏は語る。「こうした制約があれば、私だけでなく多くのテクノロジー関連の仕事に就くことに、より安心感を持てるようになるでしょう。」

WIREDのその他の素晴らしい記事