崩壊しつつあるデータ運用の改善に向けた民主党の計画の内幕

2019年4月2日午前7時

2016年の選挙でデータが重要な役割を果たしたのを見て、民主党全国委員会は2020年の選挙でトランプ氏に対抗するために過去2年間、そのインフラを刷新してきた。

2017年7月、ラフィ・クリコリアン氏が民主党全国委員会の新しいオフィスに着任した頃、ヒラリー・クリントン氏の言葉が彼の耳にまだ響いていた。ほんの数ヶ月前、元国務長官であり、最近民主党の大統領候補に落選したクリコリアン氏は、Recodeのテクノロジーカンファレンスの壇上に立ち、民主党のデータインフラを容赦なく批判していた。

「指名を獲得した。つまり、私は民主党の候補者になった。民主党から何も受け継いでいない」とクリントン氏は説明した。「民主党は破産寸前だった。データは凡庸か貧弱で、全く存在せず、間違っていた」

クリントン氏の痛烈な批判は、党内の一部からは責任転嫁だと受け止められ、彼女の当選に尽力してきた民主党全国委員会（DNC）のデータ担当者たちを激怒させた。その中には、元データサイエンス担当ディレクターも含まれており、彼はその後削除されたツイートでクリントン氏の発言を「全くのデタラメ」と批判した。DNCの新最高技術責任者として、クリントン氏の真意、そしてさらに重要な点として、それに対して何ができるのかを解明するのは、クリコリアン氏の仕事だった。

クリコリアン氏はツイッターでキャリアを積んだ後、ウーバーの自動運転車開発を率いた職を最近辞めたばかりで政治の素人だったが、クリントン氏が言及したデータの問題は多面的で階層化されているものの、共通点が一つあることにすぐに気づいた。それは、Verticaと呼ばれるシステムだ。

2011年以来、Verticaは民主党の中央データリポジトリとして機能し、各州の有権者ファイル、選挙運動の主催者が行うすべての戸別訪問や電話、そして選挙運動が収集するあらゆる商用データを保管しています。Verticaは2012年のオバマ大統領の再選に重要な役割を果たし、強力なデータ運用が現代の選挙運動の中核を成す必要性を確立しました。しかし、わずか数年でVerticaのシステムは既に老朽化が目立ち始め、多くの民主党員は強力なデータ運用の欠如が2020年以降の候補者にとって不利になるのではないかと懸念していました。

クリコリアン氏は、クリントン陣営の選対本部長ロビー・ムック氏や、元グーグル社員でクリントン氏の最高技術責任者（CTO）だったステファニー・ハノン氏といった元陣営スタッフにインタビューするうちに、Verticaに関する「戦争物語」と呼ぶものをすぐに耳にするようになった。Verticaのシステムは、一度に16時間もクラッシュすることで有名だった。ノースカロライナ州のあるデータディレクターは、Verticaが再びオンラインに戻るのをただ待つだけ、車の中でうたた寝をしていたとクリコリアン氏は語った。ムック氏はVerticaをベイルートに例えたとクリコリアン氏は回想する。システムが過負荷になると（ほぼいつもそうだった）、砲撃が止むまでシステムはシャットダウンしたままだった。

「システムが機能しなかったのはシステムのせいではありません」とムーク氏はWIREDに語った。「長く使えるようには作られていなかったし、最終的にこれほど多くのユーザーが利用することを想定していなかったのです。」

クリコリアンにとって、Verticaはパーティーにおける技術進歩の最大の障害のように思えた。「パーティーで達成したい壮大な目標をいくつも掲げて参加したんです」とクリコリアンは言う。「玉ねぎの皮をむいてみると、結局はVerticaが直るまでは面白いことをXすることはできない、という結論に落ち着きました」

そこで、民主党にとっての命運を分ける選挙となる2018年の中間選挙の数ヶ月前、彼は40人の技術スタッフを2つのチームに分けるという危険な賭けに出ました。1つのチームは選挙日までVerticaを存続させる必要があり、もう1つのチームはその後に起こるあらゆるものの構築を担当することになったのです。

現在、クリコリアン氏のチームはVerticaを廃止し、より強力な新システム「データウェアハウス」の構築に向けて準備を進めている。このシステムは、Googleの分析ツール「BigQuery」を基盤として構築される。BigQueryは、民主党規模の組織に必要な規模とスピードで膨大なデータセットを処理できるクラウドベースのプラットフォームだ。

「私の最優先事項の一つは、党の技術とデータインフラを徹底的に見直し、2020年の候補者とすべての候補者が共和党に挑戦し、勝利するために最善の立場を確保することです」と、民主党全国委員会のトム・ペレス委員長はWIREDの取材に対し声明で述べた。「民主党全国委員会のデータウェアハウスは、私たちの技術努力の中核であり、選挙運動や委員会がデータをより適切に保管、アクセス、分析することを可能にします。」

この人事異動は、クリコリアン氏が民主党全国委員会の役職を辞任し、妻と二人の子供と共にカリフォルニアに戻ることと重なる。民主党のデータ企業BlueLabsの元CEOで、クリコリアン氏の副CTOであるリンジー・シュー・コルテス氏が、党が新たなCTOを任命するまでの間、CTO代理を務める。

民主党はまた、待望のデータ取引所の設立準備を進めている。この取引所は、党と外部の政治団体が初めて、選挙資金法に抵触することなくデータを共有できるようにするものだ。元民主党全国委員会委員長のハワード・ディーン氏が議長を務めるこの取引所は、共和党側の同様の組織であるGOPデータトラストをモデルにしている。一部の民主党員は、この組織が2016年の選挙でトランプ大統領に大きな優位をもたらしたと考えている。共和党全国委員会が単独で収集できる範囲を超えた膨大なデータを選挙陣営に提供したからだ。しかし、Verticaシステムの下では、これほど複雑なデータ取引所を構築することは民主党にとって不可能だっただろう。

Vertica の制限

民主党全国委員会がオバマ大統領の2012年再選キャンペーンの準備としてVerticaの技術を初めて購入した際、党のあらゆるデータを一つの中央リポジトリに保管できるというアイデアは革命的に思えました。以前は、この貴重な情報は別々のデータベースに分散しており、選挙陣営がそれらを統合して有権者の全体像を把握し、彼らが何を最も重視しているかを把握することは、不可能ではないにしても困難でした。すべてのデータを一元管理することで、オバマ陣営はデータを精査し、例えばサッカーママやNASCARパパといった大まかなカテゴリーに分類するのではなく、個々の有権者にアプローチし、広告を打つことができるようになりました。

しかし、Verticaの欠陥はすぐに明らかになった。まず、そのインターフェースは政治初心者やデータ分析経験の浅い小規模キャンペーンにとっては全く理解しがたいものだった。「ただ表の列が並んでいて、数字がずらりと並んでいるだけで、列の名前は『これが2014年のブッカー候補です』といったものだった」とシュー・コルテスは言う。「どのボックスが役に立つのか、本当に有益なデータがどこにあるのかを理解するには、以前のキャンペーンを実際に体験したり、実際に参加したりしなければならなかった」

Verticaは、今日存在する多くのクラウドベースのシステムよりも古くから存在していました。民主党全国委員会（DNC）は、サーバーを別途構築する必要がありましたが、それらのサーバーは、テラバイト単位のデータが流入したり、選挙前の数日間に何千人ものデータアナリストがデータにアクセスしようとしたりする負荷に耐えられるよう設計されていませんでした。「もし同じ技術ツールが2018年に使われると言われたら、私は頭がおかしいと思ったでしょう」と、2009年から2011年までDNCのCTOを務めたジョシュ・ヘンドラー氏は言います。

2012年以降、メンテナンス不足とデータ過剰により、データドリブンな選挙活動への需要が高まる一方で、Verticaは荒廃した状態に陥りました。2016年の選挙戦に向けて、シリコンバレー出身の優秀なエンジニアを含むクリントン陣営は、引き継いだシステムに苦戦を強いられました。「私がそこに着任した瞬間から、最悪でした」と、当時選挙活動のプロダクトディレクターを務めていたジェラルド・ニエミラ氏は語ります。彼は、就任初日に新人アナリストが簡単なクエリを書いただけで、Verticaが72時間もクラッシュしたことを覚えているのです。

ブルーラボの同僚でクリントンのデータ分析責任者だったエラン・クリーゲル氏のシュー・コルテス氏によると、クリントンのチームはシステムがクラッシュするたびに再起動できるよう、昼夜を問わず何十人ものエンジニアを待機させておく必要があったという。

「彼らの陣営が反発していたのは、オバマ政権時代に民主党全国委員会（DNC）内の近代化のペースを効果的に維持できなかったことだった」と、2012年のオバマ大統領選で最高イノベーション責任者を務め、2016年にはクリントン陣営と協力した元企業ザ・グラウンドワークのマイケル・スラビー氏は語る。「テクノロジーは10年も動じないものだ」

クリコリアン氏が2017年に民主党全国委員会（DNC）に入党した際、党がシステムの稼働を維持するために、たとえオフサイクルであっても、どれほどのリソースを浪費しているかを目の当たりにした。2018年の中間選挙では、緊迫した選挙戦の最中、DNCのエンジニアたちはVerticaの稼働を維持するために絶え間ない努力を続けたが、それでも一晩中10時間もダウンしたことがあった。11月6日に民主党が下院を奪還した後、Verticaの代替計画が本格的に始動した。シュー・コルテス氏は「総力を挙げて取り組みました」と語る。

大きな目標の一つは、より安定したプラットフォーム、つまり民主党員が独自のサーバーを維持する必要がないプラットフォームを見つけることでした。DNCは様々な企業から新しいツールを模索し、最終的にGoogleのBigQueryに落ち着きました。DNCのプロダクトマネジメント責任者であるジェニファー・ケイン氏が言うように、「GoogleのBigQueryを管理するために午前3時に起きる必要はありません。Googleならその手間を省いてくれますから」

民主党はこのプロジェクトのために寄付者から500万ドルを調達し、チームはその後数ヶ月かけて新しいデータウェアハウスの構築に取り組みました。このデータウェアハウスは、より信頼性が高く、小規模なキャンペーンでもより直感的に操作できるものになることを期待しています。2月には民主党全国委員会（DNC）が初の大統領選キャンペーンのオンボーディングを開始し、最近では全米各地の民主党データ担当者を対象とした研修会を開催しました。

「データランボルギーニの鍵を州議会選挙に渡すことができるようになりました。これはこれまでは考えられなかったことです」とシュー・コルテス氏は語る。そして、Verticaは今年の夏に正式に廃止される予定だと付け加えた。

民主的なデータ取引

この新しい倉庫は、2020年までに党の主要目標の1つであるデータ取引所の創設を達成するための基礎となる。

連邦選挙委員会（FEC）は、選挙陣営と外部団体との連携を禁止しています。そのため、従来、候補者の選挙陣営とスーパーPACは、それぞれが収集したデータを比較したり、混在させたりすることはできませんでした。しかし、共和党は2011年にデータ・トラストと呼ばれる第三者機関を設立することで、この規則を回避する方法を見つけました。この企業は党外にあり、一種のデータ・クリアリングハウスとして機能します。共和党の様々な団体がデータ・トラストにデータのライセンスを供与しており、他の団体はFECの規制に違反することなく、データへのアクセスを購入できるようになっています。

シュー・コルテス氏によると、2016年の選挙後、民主党はこのモデルを共和党の競争上の優位性として捉え始めたという。「有権者ファイルとの接触状況の全体像の半分しか把握できていないと、知っている情報に基づいて判断することになります」と彼女は言う。「データ交換が確立されれば、有権者との接触に費やされている投資の残り半分全てを活用できるようになります。」

ニエミラ氏は、クリントン氏が述べたように、民主党全国委員会（DNC）のデータの「質が平凡から貧弱、全く存在せず、間違っている」という問題が改善されることを期待している。「確かに、データはひどい。民主党の候補者を電話で探したことがある人なら誰でも、そのことがわかるだろう」と彼は言い、民主党には死人のドアをノックする癖があると指摘する。「こうした問題は情報交換によって解決されるだろう。なぜなら、両陣営の間でより質の高い情報が行き交うことが重要だからだ」

しかし、各州の有権者ファイルを管理している州党幹部は、当初、党にとって最も貴重な資源の管理権を手放すことに難色を示しました。最終的に、党は妥協案に至りました。データ自体は民主党全国委員会（DNC）内に保管するというものです。データ交換は、誰がどのような情報を提供し、誰がそれを受け取っているかを追跡し、データセットを接続するパイプを構築するだけです。シュー・コルテス氏によると、新しいデータウェアハウスの構築は、これらのパイプを接続できる安定した基盤を持つことを意味します。「これほど大量のデータが流入すれば、Verticaは初日からクラッシュしていたでしょう」と彼女は言います。

2月、民主党全国委員会は、元バーモント州知事のハワード・ディーン氏がデータ交換委員会の理事長に就任し、オバマ前大統領の元側近であるジェン・オマリー・ディロン氏が日々の業務運営を担うと発表した。「データ交換に関する合意は、アイオワ州で一軒一軒ドアをノックするだけで、エコシステム全体に利益をもたらすことを意味します」とディーン氏はWIREDの声明で述べた。

しかし、先週、ディロン氏はテキサス州選出の下院議員ベト・オルーク氏の大統領選キャンペーン・マネージャーに就任すると発表したばかりだ。現在、取引所の進捗状況、そして最も重要な点として、今後誰が運営するのかという疑問が残る。ディロン氏はWIREDのコメント要請には応じなかった。

DNCのデジタル未来

民主党関係者の間では、党の基盤となるデータインフラのアップグレードが切実に必要であることに疑問の余地はない。しかし、単に機能しているだけのデータリポジトリを持つだけでは不十分だ。一つには、民主党もデジタル広告へのアプローチを見直す必要があるという認識が高まっている。

2016年、トランプ陣営はFacebookなどのプラットフォームへの支出でクリントン陣営を大幅に上回りました。当時のデジタルディレクターで、現在は選挙運動本部長を務めるブラッド・パースケール氏は、Facebookこそがトランプ氏の勝利の要因だと主張しています。そして今、大統領選のデジタル広告に関する最近まとめられたデータによると、歴史は繰り返される危機に瀕しています。「彼らは民主党候補者全員の支出額を合わせた額よりも多くの資金を費やしており、これは左派の誰もが恐れをなすはずだ」とスラビー氏はトランプ陣営について述べています。それだけでなく、トランプ陣営はトランプ大統領就任からわずか1年後にパースケール氏を選挙運動本部長に任命したことで、大きなアドバンテージを握っています。

クリコリアン氏はダッシュボードを使って、同じ広告実績を追跡している。「彼の支出額に比べれば、他の企業は皆、見劣りしている」と彼は言う。「それが本当に心配だ」

ニーミラ氏はまた、新しいデータウェアハウスは少なくともある程度のプログラミングスキルを必要とするため、コーディングを知らない選挙スタッフが十分にアクセスできるかどうかについても懸念を抱いている。これは、昇進した多くの地方データディレクター（実質的には有能な現場スタッフ）にとって大きなハードルとなる可能性があるとニーミラ氏は指摘する。党内の技術力に限界があることを考えると、平均的な現場スタッフが簡単にアクセスできるツールを民主党が構築することが不可欠だとニーミラ氏は考えている（彼の会社であるAcronymは、そのようなツールを開発中だ）。「2020年以降も成功を収めるためには、低スキルのユーザーでもエコシステムからこのデータを取得できる方法を見つけ出す必要があります」と彼は言う。

さらに、民主党がまだ標準的な方法でデジタルデータを収集できていないという現実もある。誰の家を訪問すべきか、誰に広告を出すべきかを判断するために、民主党は長年、有権者ファイルや、VoteBuilderと呼ばれる現場組織ツールから得られる過去の有権者との接触情報に頼ってきた。しかし、ここ数年、民主党向けに新たなデジタル製品が次々と登場し、ムック氏が「デジタルエグゾースト」と呼ぶソーシャルメディアプラットフォームから大量のデータが噴出している。どちらの党も、これをどう活用すべきかを完全に理解しているかどうかは不明だ。

「両党は現在、エコシステムに存在する膨大なデータ、つまりソーシャルメディアやその他のソーシャルネットワーク、デジタルブレッドクラムに人々が投稿している情報をいかに活用し、誰がどの候補者を支持するかについてより深い洞察を得るかという課題に取り組んでいます」とムーク氏は語る。「民主党にとって今の問題は、この基本的なインフラが完成するまでは、競争で前進することすらできないということです。」

クリコリアン氏は過去1年半、そのインフラ整備に尽力してきた。2020年民主党候補が、クリントン氏のような党のデータに対する不満を抱かないように尽力してきたのだ。彼は民間セクターから多様な技術者を集めたチームを編成し、後任として面接を受けている候補者は「大手テクノロジー企業」出身者だとクリコリアン氏は語る。後任が誰であろうと、大変な仕事になるだろうと認めつつも、少なくとも今は「実現可能だと感じています」と語る。

2019年4月2日午前9時03分（東部夏時間）更新：この記事は、ジェニファー・ケインの役職を訂正するために更新されました。彼女は民主党全国委員会のプロジェクトマネジメント責任者ではなく、プロダクトマネジメント責任者です。

WIREDのその他の素晴らしい記事