～ 数字の裏側にある「誤差」と「偏り」を考える
テレビのニュースを見ていると、「内閣支持率は○％」「この政策に賛成する人は○％」「政党支持率は○％」といった数字が頻繁に報じられる。
しかし、その数字を見て疑問を持つ人も少なくないだろう。
日本には1億人を超える人口がいる。それにもかかわらず、実際に世論調査へ回答しているのは千人から数千人程度である場合が多い。それだけの人数を調べただけで、本当に「国民の意見」と呼んでよいのだろうか。
さらに現在では、知らない電話番号からの着信には出ない人も多い。固定電話を持たない家庭も増え、電話による調査そのものに協力しない人もいる。インターネット調査なら、そもそも調査会社のモニターに登録している人だけが回答している場合もある。
こう考えると、「世論調査など信用できない」という結論に傾きたくなる。
ところが、統計学の観点から見ると問題はそれほど単純ではない。実は世論調査の信頼性を左右する最大の問題は、「千人しか調べていないこと」そのものではない。
重要なのは、その千人をどのように選び、誰が回答し、どのような質問をしたのかなのである。
全国民を調査しなくても世論を推定できる
世論調査を理解するためには、まず「全員を調べなければ正しい結果は分からない」という考えから離れる必要がある。
統計学では、調べたい集団全体を「母集団」、そこから実際に調査する一部の人々を「標本」と考える。母集団から偏りなく標本を取り出すことができれば、その一部を調べることで全体の傾向を推定できる。
例えば、巨大な鍋に入ったスープの塩分濃度を調べる場合、鍋のスープを全部飲んで確認する必要はない。十分にかき混ぜたうえで一部を取り出せば、全体の濃度をかなり正確に推定できる。
世論調査も原理的には同じである。
ただし、ここには非常に重要な条件がある。
スープが十分に混ざっていなければならないのと同じように、調査対象者が特定の年齢、地域、職業、政治的立場などに偏らず、母集団を適切に代表していなければならない。
つまり、世論調査で重要なのは単純な人数ではなく、標本の選び方なのである。
千人程度でも統計学的には意味がある
「日本人が1億人以上いるのに、千人程度の調査でよいのか」という疑問は直感的にはもっともである。しかし、標本調査では母集団が十分大きくなると、必要な標本数は人口に比例して増えるわけではない。
内閣府も、世論調査結果を読む際には回答者数と回答比率によって標本誤差が生じることを明示している。特に回答割合が50％前後の場合に標本誤差が大きくなり、回答者数が少なくなるほど誤差も大きくなる。
単純任意抽出を仮定して概算すると、回答者が約1,000人で、ある質問について50％が「賛成」と答えた場合、95％程度の信頼水準で考えた標本誤差はおおむね±3ポイント程度になる。
したがって、
「賛成50％」
という結果を、
「国民のちょうど50.0％が賛成している」
と読むのは間違っている。
統計的には、
「真の割合は、おおむね47％から53％程度の範囲にある可能性が高い」
という程度の情報として読むべきなのである。
ここから重要なことが分かる。
例えば、ある調査でA党の支持率が31％、B党が29％だったとしても、その2ポイントの差だけから「A党が明確に優勢」と断定できるとは限らない。双方に標本誤差が存在するからである。
テレビでは数字が整数で表示されるため、31％と29％には明確な差があるように見える。しかし統計学的には、その差が実質的に意味を持つのかを別に考えなければならない。
本当に難しいのは「標本誤差」ではない
ここで、世論調査を考えるうえで非常に重要な点がある。
標本誤差は数学的に計算できる。
しかし、実際の世論調査には、計算で簡単には処理できない別の誤差が存在する。
その代表が非回答バイアスである。
仮に無作為に3,000人を選んだとしても、そのうち実際に回答した人が1,500人だったとする。この場合、問題は単に「半分しか回答しなかった」ということではない。
回答した1,500人と、回答しなかった1,500人の考え方が同じなら、それほど重大ではない。
ところが、もし政治への関心が高い人ほど調査に協力しやすく、政治に関心の低い人ほど回答しない傾向があるとすれば、最初に無作為抽出をしていても、最終的な回答者には偏りが生じる。
調査への参加者が、参加しない人より市民活動などへの関与が高い傾向を持つ可能性は、海外の調査研究でも指摘されている。
つまり、
無作為に選んだことと、最終的な回答者が無作為な集団になっていることは同じではない。
ここが現代の世論調査で最も注意すべきところである。
回答率が低ければ、それだけで調査は信用できないのか
では、回答率が低い調査は信用できないのだろうか。
これも単純には決められない。
回答率が低くても、回答する人と回答しない人との間に大きな系統的な違いがなければ、推定結果は比較的正確である可能性がある。逆に回答率が高くても、特定の層だけが回答しにくい構造があれば、結果には偏りが生じる。
Pew Research Center（ピュー・リサーチ・センター）がさまざまな社会指標について調査結果と外部の基準値を比較した研究では、回答率の低い現代の全国調査でも、多くの項目で基準値との差は平均的には数ポイント程度に収まっていた。つまり、「回答率が低い＝調査結果が無意味」とまでは言えない。
一方で、回答者と非回答者の属性や意識が異なる可能性を無視してよいわけでもない。
したがって、世論調査を見るときには、単純に回答率だけを見るのではなく、調査機関が年齢、性別、地域などの人口構成をどのように補正しているのかまで確認する必要がある。
固定電話だけでは世論を測れなくなった
電話調査にも時代による変化がある。
かつて世論調査では固定電話が中心的に利用されていた。しかし携帯電話が普及し、固定電話を持たない世帯が増えれば、固定電話だけを対象にした調査では母集団を適切に代表できなくなる。
そこで報道機関などでは、固定電話と携帯電話の双方を対象にしたRDD（Random Digit Dialing・電話番号を無作為に生成して発信する調査方式）などが利用されるようになった。
日本でも固定電話と携帯電話を組み合わせた調査方式への移行が進み、その設計や補正方法について研究が続けられてきた。
しかし携帯電話を加えれば問題が完全に解決するわけではない。
知らない番号には出ない人、仕事中には電話に出られない人、調査だと分かった時点で切る人などが存在する。
その結果、「電話に出て、さらに調査に答えてくれる人」という条件そのものが、新たな偏りを生む可能性がある。
世論調査の技術とは、こうした社会の変化に合わせながら、どのように母集団を代表する標本を作るかという不断の修正作業でもある。
インターネット調査にも独特の偏りがある
それなら電話ではなく、インターネットで調査すればよいのではないか。
これにも問題がある。
インターネット調査の中には、あらかじめ調査会社へ登録しているモニターを対象として行われるものがある。この場合、そもそも「アンケートに回答するため登録している人」と、それ以外の国民との間に違いが存在する可能性がある。
日本でも、インターネット調査と面接調査、国勢調査などを比較すると、回答者の構成や回答傾向に一定の違いが生じ得ることが研究されている。
したがって、
「電話調査だから正しい」
「インターネット調査だから間違っている」
という単純な判断はできない。
重要なのは、その調査が誰を母集団として、どのように対象者を選び、どのように補正しているかである。
質問文を変えるだけでも結果は変わる
世論調査には、さらに別の問題がある。
それが質問の仕方である。
人間の意見は、必ずしも最初から明確な数字として頭の中に存在しているわけではない。
「この政策に賛成ですか」
と聞く場合と、
「この政策には年間○円の財政負担が必要ですが、それでも賛成ですか」
と聞く場合では、同じ政策について質問していても回答割合が変化する可能性がある。
また、
「賛成」「反対」の二択なのか、
「賛成」「どちらかといえば賛成」「どちらかといえば反対」「反対」
という四択なのかによっても数字は変わり得る。
さらに質問の順番も無関係ではない。
直前に景気への不安を尋ねたあとで政府への評価を聞く場合と、最初に政府への評価を聞く場合とでは、回答者が何を思い浮かべるかが変わる可能性がある。
つまり世論調査とは、人々の心の中に存在する「本当の数字」を単純に読み取っているわけではない。
質問という刺激に対して人々がどのように答えたかを測定している。
ここを理解しておく必要がある。
1回の数字より「流れ」を見る
世論調査を読むうえで、実務的に最も有効なのは、一つの数字を絶対視しないことである。
例えば内閣支持率が、
40％ ↓ 38％ ↓ 35％ ↓ 32％
と同じ調査機関で継続的に低下しているなら、一回ごとの数ポイントには誤差が含まれていても、「支持が低下方向に動いている可能性」はかなり高くなる。
反対に、
40％ ↓ 39％
という変化だけを見て、
「支持率が1ポイント低下した」
と大きく報じても、統計学的にはほとんど意味を持たない場合がある。
世論調査を見るときは、点ではなく時系列として見ることが重要なのである。
さらに、複数の調査機関がほぼ同じ方向の変化を示しているなら、社会全体で何らかの変化が起きている可能性はさらに高くなる。
逆に一社だけが大きく違う数字を出している場合には、その調査会社の調査方法、質問文、調査日などを確認した方がよい。
世論調査と選挙予測は別物である
もう一つ混同されやすいのが、世論調査と選挙結果との関係である。
選挙前の調査が最終結果と違った場合、「世論調査は外れた」と批判されることがある。
しかし、例えば「現在どの候補者を支持しているか」という調査と、「最終的に誰が当選するか」という予測は同じものではない。
投票日までに支持を変える人もいる。
投票へ行くつもりだったが行かなかった人もいる。
逆に、調査時点では投票するつもりがなかったのに投票する人もいる。
選挙予測では、単なる支持率だけでなく、「実際に誰が投票するのか」を推定する必要がある。この投票者モデルにも別の誤差が入る。選挙調査については、こうした標本誤差以外の要因が存在し、それらは数値化が難しいことも指摘されている。
したがって、世論調査は競馬の予想のように「結果を当てるためだけのもの」ではない。
調査時点における有権者の状態を推定する観測手段と考えた方が正確である。
「世論調査は操作されている」と考える前に見るべきもの
世論調査の数字が自分の感覚と大きく違うと、「こんな結果になるはずがない」「調査機関が数字を操作しているのではないか」と考えたくなることがある。
しかし、自分の周囲の人々も一種の標本である。
家族、友人、職場、SNS（Social Networking Service・インターネット上で人間関係や情報を共有するサービス）のフォロワーなどは、全国民から無作為に選ばれた集団ではない。
年齢、地域、職業、所得、価値観、政治的関心などが自分に近い人ほど、日常生活では接触しやすい。
SNSではさらに、自分が興味を持つ情報を継続して見ることで、似た意見を持つ人々が周囲に多いように感じることもある。
したがって、
「私の周囲では誰もそんなことを言っていない」
という感覚と、
「全国調査では40％が賛成している」
という結果が同時に成立することは十分にあり得る。
世論調査に偏りが存在し得るのと同時に、私たち自身が見ている世界にも偏りが存在するのである。
世論調査を見るときの5つの確認点
では、私たちは世論調査をどのように読めばよいのだろうか。
最も重要なのは、数字そのものより調査方法を見ることである。
まず「誰を対象とした調査なのか」を確認する。全国の成人なのか、有権者なのか、特定地域の住民なのかによって数字の意味は変わる。
次に回答者数を見る。回答者数が少なくなるほど標本誤差は大きくなる。
さらに、対象者をどのように選んだかを見る。無作為抽出なのか、電話調査なのか、登録モニターによるインターネット調査なのかによって、想定される偏りも異なる。
そして質問文を確認する。同じテーマでも、聞き方が違えば単純比較できないことがある。
最後に、一回の結果ではなく過去の推移を見る。
この五つを確認するだけでも、世論調査の読み方はかなり変わる。
世論調査は「真実」ではないが「無意味」でもない
結局、世論調査はどこまで信用できるのだろうか。
最も適切な答えは、
一定の誤差と偏りを含むことを理解したうえで利用するなら、社会全体の傾向を知るための有力な手段である
ということになる。
世論調査の数字は国民全員を数えた結果ではない。
標本抽出による誤差があり、回答しない人による偏りがあり、調査方法による違いがあり、質問文によって回答が変化する可能性もある。
それでも、適切に設計された調査であれば、人口全体の傾向についてかなり有用な情報を得ることができる。回答率が低下した現代の調査でも、適切な設計と補正を行うことで、外部の基準値に比較的近い結果が得られる例が確認されている。
したがって問題なのは、
「世論調査を信用するか、信用しないか」
という二択ではない。
必要なのは、
どの程度の不確実性を持つ数字なのかを理解して使うこと
である。
支持率35％という数字を35％という絶対的な事実として受け取るのではなく、「一定の誤差や調査上の偏りを含みながら、この時点ではおおむねこの程度の支持が観測された」と読む。
そして1回の数字より継続的な変化を見て、できれば複数の調査機関の結果も比較する。
その読み方こそが、世論調査と適切に付き合う方法だろう。
世論調査は社会を映す完全な鏡ではない。
しかし、多少のゆがみがあるからといって、鏡そのものを捨ててしまえば社会全体を見る手段はさらに乏しくなる。
重要なのは、その鏡にどのようなゆがみが生じるのかを知ったうえで、数字の向こう側にある社会の変化を読み取ることである。