選挙世論調査の予測は結局外れていないのかもしれない

WIREDに掲載されているすべての製品は、編集者が独自に選定したものです。ただし、小売店やリンクを経由した製品購入から報酬を受け取る場合があります。詳細はこちらをご覧ください。

政治的立場がどうであれ、2016年のアメリカ大統領選挙を見て「えっ？」と思ったことを否定しないでください。これは批判ではありません。マイケル・ウルフの著書を信じるなら、ドナルド・トランプ自身も自分が大統領になるとは思っていなかったはずです。それは世論調査によるところが大きいです。2016年中に必死にFivethirtyeightを読み返したり、サム・ワンとラリー・サバトの優劣を議論したりしなかったとしても（批判するつもりはありません）、ニュースだけを見ていれば、ヒラリー・クリントンが大統領になる確率は71%から99%くらいだと思っていたはずです。

それでも。

この結果と、同様に疑わしい2015年のイギリス選挙が相まって、世界中の世論調査機関による「最大の過ち」のエコシステムが始動した。（統計学である以上、本当に必要なのは「最大の過ち」、最小の過ち、そして平均値、平均値、標準偏差の過ちだ。）アメリカ世論調査協会は50ページに及ぶ「2016年選挙世論調査の評価」を発表した。2015年のイギリスの世論調査に関する報告書は120ページに及んだ。当時、世論調査機関は「完全に間違っていた」と思われていた。電話世論調査の回答率が低いことが原因だ。電話世論調査は固定電話を使うことが多く、人々はもはや回答しない傾向にあるからだ。

そこで、皆さんに衝撃的な事実をお伝えします。これらの世論調査員は、間違っていたという点において、実は間違っていたのかもしれません。実際、1942年以降の220の国政選挙の世論調査（対面式のインタビューの時代から今日のオンライン世論調査まで、32カ国で行われた1,339の世論調査）を見てみると、世論調査による勝者予測の精度はそれほど向上していないものの、それほど悪化もしていないことがわかります。「これらすべての国の世論調査の最終週を見て、基本的にそれがどう変化したかを見てください」と、サウサンプトン大学の政治学者で、Nature Human Behavior誌に世論調査の誤差に関する新論文を共著したウィル・ジェニングス氏は言います。「誤差が全体的に増加している傾向はありません。」

ジェニングス氏と共著者でテキサス大学の政治学者クリストファー・ウレジエン氏は、候補者または政党の世論調査での得票率と実際の最終的な得票率の差を本質的に検証した。この絶対値が従属変数となり、時間の経過とともに変化する。そして彼らは計算を行った。

まず、彼らは選挙日の200日前から始まる、選挙全体を網羅したさらに大規模な世論調査データベースを調べた。その結果、その時点までの絶対誤差の平均は約4%であることがわかった。50日前になると誤差は約3%に低下し、選挙前夜には約2%となる。これは年や国を問わず一定であり、予想通りの結果だ。投票について考える人が増え、世論調査の実施が増えるにつれて、結果はより正確になる。

さらに重要なのは、1943年から2017年までの過去1週間の世論調査だけを時系列で見て、それぞれの誤差をとった場合、平均は2.1%のままであるということです。実際には、これは正確ではありません。今世紀には2.0%まで低下しました。世論調査は依然としてかなり良好です。「調査開始当初に予想していたほどではありません」とジェニングス氏は言います。

ジェニングス氏は、2016年のアメリカでは「実際の全国世論調査は、それほど大きく間違っていたわけではなく、歴史的に見られたような誤りと一致していた」と述べている。ただ、人々は世論調査がそれほど間違っていないと予想していただけだ。「歴史的に見て、技術的に進歩した社会は、こうした手法が完璧だと考えている」と彼は言う。「もちろん、そこには誤差が内在しているのだが」

確かに、世論調査の中にはひどいものもあります。詳しくはデューイ大統領図書館のアーカイブをご覧ください。しかし、実際には、予想外の結果はどれも目立つものです。世論調査が何気なく、着実に既定路線に向かって突き進むと、誰もそれを覚えていません。「2008年も2012年も、不満の声はそれほど多くありませんでした」と、クイニピアック大学世論調査のアシスタントディレクター、ピーター・ブラウン氏は言います。しかし、2016年は少し状況が異なりました。「2008年や2012年の選挙のような、過去の選挙結果に及ばない世論調査が、近年よりも多くありました。」

また、AAPORの2016年調査によると、全国世論調査は実際には大統領選の結果をかなり正確に反映していた。結局、ヒラリー・クリントンが一般投票で勝利したのだ。小規模な州の世論調査は不確実性が高く、トランプ支持を過小評価していた。また、選挙戦最終週に多くの人が考えを変えたという状況にも対処しなければならなかった。また、同年の世論調査では、クリントンを支持する可能性が高い大学卒業生のサンプルにおける過剰代表も考慮されていなかった。

しかし、同様の方法論的観点から見ると、ジェニングス氏とウレジエン氏の研究にも独自の限界がある。あなたや私のような一般人が世論調査を執拗に注視する文化において、彼らが選挙日前の最後の1週間に焦点を当てることは、適切なレンズを通して行われていない可能性がある。一部の観察者が仮説を立てているように、世論調査員が最終日に「群れをなして」、自分のデータが同僚や競合相手のデータと一致していることを確認しようとするならば、これは特に重要だ。

「政治世論調査の有効性を測るには、これは狭く限定的な方法だ」と、サーベイモンキーの最高調査責任者、ジョン・コーエン氏は指摘する。コーエン氏は研究者たちの研究には大きな敬意を払っているものの、「これらの著者は、人々が選挙をどのように体験したかとは、ある意味で直交する物語を語っている。それは、投票日の1週間前、あるいは48時間前に発表された世論調査というだけでなく、選挙運動全体を通して世論調査が人々に抱かせた信念によるものだ」とコーエン氏は指摘する。

世論調査機関は概して、回答率が依然として深刻な問題であることに同意している。オンライン世論調査、あるいはボットが電話でインタビューを行ういわゆる自動音声応答（IVR）方式の世論調査は、半世紀前のランダムダイヤル方式の電話世論調査ほど効果的ではないかもしれない。論文によると、世紀の変わり目には、世論調査機関が接触した人の3分の1程度しか実際に回答しなかった。しかし今では、その数は10人に1人にも満たない。つまり、調査は代表性が低く、ランダム性も低く、傾向を見逃す可能性が高くなっているということだ。「携帯電話を持つ有権者の母集団と、携帯電話を持たない有権者の母集団は異なるのだろうか？」とブラウン氏は問う。「もし同じ母集団なら、携帯電話に電話をかける必要はないだろう。」

インターネット世論調査にも同様の問題があります。一部の世論調査会社が行っているように、インターネット経由で事前にサンプルを選定して調査する場合、それは定義上、無作為ではありません。だからといって正確性に欠けるわけではありませんが、調査方法としては新たな統計的思考が求められます。「世論調査会社は常に、有権者の変化やテクノロジーの進化に伴う問題に苦慮しています」とジェニングス氏は言います。「現状に満足している人は多くありません。しかし、状況が悪化していないという安心感はあります。」

一方、世論調査をもっと多くの人が見るのであれば、数字にまつわる不確実性をもっとうまく表現する方法を世論調査が模索し始めると良いだろう。（コーエン氏によると、サーベイモンキーが昨年のアラバマ州特別選挙について、投票率のシナリオを複数回想定した複数の世論調査を発表したのはそのためだ。）「最終的には、世論調査を結果だけでなく、その方法論や入力内容に基づいて評価できれば良いのですが」とコーエン氏は言う。「しかし、それは長期的な視点です」。そして、今春、中間選挙の世論調査結果を見始める際には、この点を念頭に置く価値がある。

投票集計