世論調査会社は中間選挙までに態度を改めたか?

残念ですが、また選挙の季節になりました。

11月の中間選挙が近づくにつれ、米国の政治マニアたちはすぐに、最新の世論調査に関するニュース報道を貪るように読み、世論調査の平均値を比較し、傾向線が脳に焼き付くまで選挙予測モデルを強迫観念的に更新するという、おなじみのパターンに引き戻されることに気付くだろう。

しかし、ニュースに執着する人々は、自分たちが目にする数字を信頼できるのだろうか？

選挙予測という新しい科学――あらゆる世論調査を集約し、統計手法を適用し、他の種類の経済データや歴史的データと調整する――によって、4年ごとの出来事を正確に予測できると思われた時期がありました。FiveThirtyEightの創設者であり、この現代分野の創始者であるネイト・シルバーは、2008年と2012年の大統領選挙を完璧に予測したことで有名です。

そして2016年、世論調査は労働者階級の有権者のドナルド・トランプ支持を捉えきれなかった。この失態の後、世論調査業界は二度と騙されないと誓った。では2020年はどうなっただろうか？世論調査は労働者階級の有権者のドナルド・トランプ支持を捉えきれなかった。ジョー・バイデンの快勝が予想されていた選挙人投票では僅差に終わり、世論調査ではバイデンの優勢が誇張されていた重要な激戦州で、バイデンは僅差で勝利した。

G・エリオット・モリスはエコノミスト誌のデータジャーナリストで、同誌の選挙予測部門を率いています。このスキルは彼が学部生時代に磨き上げたものです。彼のモデルは、バイデン氏が2020年に勝利する確率を97%、選挙人356票を獲得すると予測しました（実際には306票しか獲得していません）。モリスは新著『Strength In Numbers（数字の強さ）』の中で、長年にわたる世論調査の失敗を認めながらも、世論調査は民主主義にとって依然として不可欠だと主張しています。今週、モリスはWIREDのインタビューに応じ、前回の選挙で何が間違っていたのか、次回の選挙で何が間違っているのかを予測するのがいかに難しいのか、そして不正確な世論調査への対策として、誰もが世論調査を少しだけ信用しないようにすべき理由について語りました。 

このインタビューは要約され、軽く編集されています。

WIRED：2016年の世論調査は、ご存知の通りかなりひどい結果でした。2020年も、ほぼ同じような形で再びかなりひどい結果となりました。何が悪かったのか、私たちはどのように理解しているのでしょうか？

G・エリオット・モリス：世論調査員は毎年、根本的な問題に悩まされています。それは、調査対象者が必ずしも全人口を代表していない可能性があるということです。白人有権者、大学教育を受けていない有権者、貧困層や富裕層の有権者に偏りすぎている可能性があります。

2016年の選挙結果を受けて、「しまった、大学を卒業していない白人有権者を十分に考慮に入れていなかった。だから、それを修正すれば大丈夫だろう」というのがコンセンサスだったように思います。それが2020年を迎えるまでの論調だったのではないでしょうか？

2016年には、教育水準による分極化がかつてないほど顕著になり、大学卒と非大学卒の投票行動の差が拡大しました。一部の世論調査機関は、非大学卒の有権者の割合を適正にするために、この点を考慮に入れるべきだと考えていましたが、すべての世論調査機関がそうしていたわけではありません。そのため、サンプルの教育水準が高すぎると、こうした誤差が生じてしまうのです。そして、教育水準と投票行動の間に相関関係が見られるようになったため、2016年の民主党支持率は過大評価されてしまったのです。

2020年を迎えるにあたり、世論調査を素朴に解釈すれば「教育を重視すれば大丈夫だろう」と思われたでしょう。実際、一部の人々はそう考えました。しかし、2020年には「無回答エラー」と呼ばれる新たな種類の誤りが発生しました。これは、ドナルド・トランプを支持する可能性が特に高い共和党員が、調査に回答する可能性が特に低い共和党員でもあるというものです。つまり、人口統計や教育の構成が適切であったとしても、共和党員のサンプルが不足してしまうということです。

言い換えれば、たとえ大学教育を受けていない有権者を重視していたとしても、彼らの代表的なサンプルが得られていないことに気づかないのです。

そうですね。2020年の世論調査では、2016年のトランプ支持者と2016年のクリントン支持者の適切なサンプルを確保するために、重み付けを行った世論調査会社もありました。しかし、彼らも同じ問題に直面しました。回答してくれた2016年のトランプ支持者の方が、現在トランプを支持する可能性が低いため、世論調査が民主党に偏っている可能性があります。

中間選挙に向けて、前回よりも正確な結果が出る可能性はどれくらいあるでしょうか?

2016年、2018年、そして2020年の世論調査はいずれも民主党に偏っていたため、今年も同様の傾向が見られると推測されます。しかし、この2つの選挙で無回答のパターンが同じままであるべきという本質的な理由は存在しません。ドナルド・トランプ氏が支持者に対し、世論調査はフェイクニュースだとか何とか言っていたため、これらの年の調査への回答率が低下したという説があります。しかし、なぜこのようなパターンが生じたのかを確実に知る方法はありません。したがって、この傾向が将来も続くかどうかは分かりません。

ですから、今年の世論調査は共和党に偏るだろうと断言することはできません。唯一確かな予測は、政党による無回答が世論調査や世論調査平均値の精度に大きな影響を与える状況が依然として続いているということです。そのため、世論調査の回答率がより高く、サンプルを代表性を持たせるためにそれほど手間がかからなかった時代と比べて、大きな乖離が生じる確率は依然として高いと予想すべきです。

したがって、体系的な世論調査の外れの確率が高くなることを私たちは予期するべきであり、国民とメディアはそれに応じて期待を設定する必要があります。

ええ。私の著書では、報道機関と国民は2016年や2020年よりも世論調査への期待を下げるべきだと主張しています。世論調査は平均的に選挙結果を偏りなく予測してくれる、あるいはせいぜい3～4%の誤差しか出ないだろうという期待は間違いです。私たちは、人口統計から誰に投票するかを推測する以上に、政党によって大きく振り分けられています。ですから、政党ごとの重み付けやその他の調整を行って、政治的に代表性の高い世論調査を行うことが、これまで以上に重要になっています。しかし、これは非常に困難な作業です。

人々の政党所属だけを見ることはできません。なぜなら、多くの人は共和党支持者ですが、無党派として登録されていたり、どの政党にも登録されていなかったりするからです。民主党支持者も同様です。

すべての州で政党登録制度があるわけではありません。例えばウィスコンシン州では、政党登録制度がありません。また、ある州でも、共和党員として登録している人が必ずしも共和党支持者とは限りません。元々は共和党員として登録していたものの、今は民主党支持者で、更新手続きをしていないだけという場合もあります。

私たちメディアは世論調査データの誤解にどのように貢献しているのでしょうか?

仮定のケースを考えてみましょう。ある世論調査機関が2つの世論調査を発表するとします。1つは1ヶ月前で、民主党が5ポイントリードしているという結果でしたが、今日は2ポイントしかリードしていないという結果でした。すると、政治評論家が「この1ヶ月で共和党支持率が3ポイント上昇した」と報告します。いいえ。どの世論調査員も、誤差の範囲内なので、それが本当の動きかどうかは分からないと言うでしょう。もしあなたがこの競馬に関する記事を書かなければならないのであれば、何が起こっているのか実際には分からないと説明してください。

世論調査や予測に関する報道は、実際に選挙結果に影響を与える可能性があります。2016年の選挙直前、ジェームズ・コミー氏がFBIがヒラリー・クリントンのメール捜査を再開すると発表したことは、最終週に選挙結果を左右するのに十分だったという確固たる証拠があります。コミー氏は後に、ヒラリーの勝利を確信していたため、自身の行動が選挙結果に影響を与えるとは思わなかったと述べています。より一般的に言えば、民主党の有権者がそれほど確信していなければ、投票に行かなかった人々も投票していたかもしれません。選挙結果を予測することで実際に結果に影響を与える可能性があるのに、世論調査員や予測者にどのような責任があるのでしょうか？

選挙予測の確率が投票率に与える影響について、注目すべき研究が1つあります。これは、人々に自分の候補者の勝利確率を伝え、その後、その候補者に寄付する機会を与えるという実験です。研究者たちは、勝利確率が高いほど、人々の支出意欲が低下するという結論に達しました。この結果によると、もし人々が、例えばヒラリー・クリントンが70%勝利する確率ではなく、99%勝利する確率の選挙予測を読んでいたら、投票率は約2パーセントポイント低下していただろうと示唆されています。これは決して小さな変化ではありません。数百万人にも相当します。選挙結果を変えるには十分な数字です。しかし、これはあくまでも1つの研究に過ぎません。実際の投票行動にも当てはまるかどうかは分かりません。そして、その推定値にも誤差はあります。

さらに、選挙運動中、候補者がよくある行動は、たとえ負けていても自分が勝っていると主張することだと知られています。これは、少なくとも、人々があなたが勝者だと信じれば投票する可能性が高くなるという民間伝承があることを示唆しており、これは私が先ほど示唆したこととは少し矛盾しています。

ええ。選挙予測を批判する人たちの中には、選挙結果を変えてしまう、危険だと主張する傾向があるように思います。私はそうは思いません。確かに可能性はあると思うので、もっと研究する価値があると思います。それに、私はこの研究をしている人たちと仕事をしてきました。研究を中止させたいとは思っていません。ただ、一部の批判者は、こうした影響を少し確信しすぎているようにも思います。

もう一つ重要な点は、もしコミー氏の発言が真実だとすれば、彼は実際には得票率が70%程度であると示した優れた選挙予測に耳を傾ける必要があったということです。つまり、これは更なる予測の根拠となります。

では、「良い」予測とは一体何でしょうか？おっしゃる通り、2016年を振り返ると、ネイト・シルバーの予測ではトランプ氏の勝利確率は30%でした。他のモデルでは、トランプ氏の勝利確率は1%か1桁台前半とされていました。つまり、トランプ氏が勝利したということは、ネイト・シルバーの予測が「正しかった」ということになります。しかしもちろん、そうは言い切れません。もし何かが100分の1の確率で起こると予測し、実際に起こった場合、それはシルバー氏がその出来事を過小評価していた可能性もあれば、100分の1の確率が当たっただけかもしれません。

選挙予測モデルが現実世界の出来事に正しく調整されているかどうかを判断する上で、これが問題となります。1940年まで遡ると、サンプルサイズには大統領選挙が20回しかありません。したがって、ここで正確な確率を統計的に裏付ける根拠はありません。97対96。限られたテストサイズでは、これらのモデルが1%の精度で正しく調整されているかどうかを判断するのは非常に困難です。この作業全体は、世論調査や予測の消費者が報道で信じているよりもはるかに不確実です。

あなたの本では、フランクリン・ルーズベルトの世論調査員について書かれています。彼は世論調査の初期の天才でしたが、結局、彼のキャリアも後になって失敗に終わりましたね？

エミール・フルヤという男は、フランクリン・ルーズベルトの世論調査員であり、並外れた選挙予測者でした。彼は初めて世論調査の集計方法、つまり追跡調査を考案しました。世論調査の歴史において、実に興味深い人物です。彼は当初から驚くほど正確でした。1932年、他の人々がルーズベルトの敗北を予想していたにもかかわらず、彼はフランクリン・ルーズベルトが750万票差で勝利すると予測しました。そして、ルーズベルトは710万票差で勝利しました。つまり、フルヤは当時の他の世論調査員よりも優れた予測力を持っていたのです。しかし、1940年には失敗し、その後は平均的な世論調査員と同じくらい正確になりました。

投資において、長期にわたって市場を上回ることは困難です。同様に、世論調査でも、手法と前提を絶えず見直す必要があります。エミール・フルヤは当初「ワシントンの魔術師」や「ミシガン州クリスタルフォールズの水晶占い師」と呼ばれていましたが、時とともにその実績は下がっていきます。あるいは、単に初期の幸運に恵まれただけかもしれません。彼が本当に天才的な予測者だったのかどうかは、後になってから判断するのは難しいのです。

私がこのことを話すのは、皆さんを怖がらせようとしているわけではないのですが、皆さんの最大の失敗は、まだ起こっていない将来のどこかで起こるかもしれないからです。

これがここでの教訓です。皆さんに考えてほしいのは、過去数回の選挙で世論調査が一方向に偏っていたからといって、次の選挙でも同じ理由で同じように偏るわけではないということです。私たちができる最も賢明なことは、データがどのように生成されたかに注目しながら、すべての世論調査を読むことです。質問の文言は適切ですか？この世論調査は、アメリカ国民の人口動態や政治動向を幅広く反映していますか？このメディアは信頼できるメディアですか？民主党員と共和党員の電話やオンラインアンケートへの回答率が他党よりも高い、あるいは低い原因となっているような、政治情勢上の何かが起こっているのでしょうか？データを受け入れる前に、こうしたあらゆる可能性を検討する必要があります。つまり、これまでよりも世論調査を不確実性を持って扱うべきだということです。これは過去数回の選挙から明らかになった自明の結論だと思います。しかし、もっと重要なのは、世論調査員が推定値に到達する方法に、より忠実であるということです。結局のところ、これらは不確実な推定値であり、世論の真実を反映するものではありません。私は人々にそう考えてほしいのです。