第4章 情報通信ネットワークとデータの活用
仮説検定の考え方(「たまたま」か、本当の違いか)
20人中15人が新しいパンをおいしいと言ったら、本当に新しいほうがおいしいのでしょうか。それとも、たまたまでしょうか。「たまたまでも起こるか」を確率で確かめる方法が仮説検定です。計算の公式ではなく、乱数のシミュレーションで「どれくらい珍しいか」を見る考え方を中心に学びます。
説明
1. 全部は調べられない:母集団と標本
「この市の高校生は、1日に何時間スマホを使うか」を知りたくても、全員に聞くのは大変です。そこで一部の人を選んで調べ、全体のようすを考えます。
知りたい全体を母集団(ぼしゅうだん)、実際に調べる一部を標本(ひょうほん)といいます。全員を調べる全数調査(国勢調査など)に対して、標本で調べる方法を標本調査といいます。
標本は、くじ引きのように偏りなく選ぶことが大切です(無作為抽出)。みそ汁の味見は、よくかき混ぜてから一口飲めば、なべ全体の味が分かるのと同じです。ただし標本はあくまで一部なので、選び方によって結果が少しずつ変わる(たまたまの差が出る)ことに注意が必要です。
2. その差は「たまたま」?
パン屋さんが新しいパンを作りました。どちらか分からないようにして、20人にいつものパンと食べ比べてもらうと、15人が新しいパンのほうがおいしいと答えました。
「新しいほうがおいしい」と決めてよいでしょうか。もし、本当は好みに違いがなく、1人1人が半々の確率でどちらかを選んでいるとしたら……。それは1人1人がコインを投げて決めるのと同じです。コインを20回投げても、たまたま表が15回出ることはあります。
問題は「それがどれくらい珍しいか」です。とても珍しいなら、「たまたま」とは考えにくいので、本当に違いがあると考えます(たまたまの可能性が 0 になるわけではありません)。この考え方で判断する方法を仮説検定(かせ付けんてい)といいます。

3. 2つの仮説を立てる
仮説検定では、まず2つの仮説を立てます。
- 対立仮説:本当に言いたいこと(新しいパンのほうが好まれる)。
- 帰無仮説(きむかせつ):それを打ち消す前提(好みに違いはない=半々)。
そして、帰無仮説が正しいと仮定したとき、実際の結果(15人以上)がどれくらいの確率で起こるかを調べます。その確率がとても小さければ、「帰無仮説が正しいとすると、めったに起こらないことが起きた。だから帰無仮説のほうがおかしい」と考えて、帰無仮説を捨てます。これを棄却(ききゃく)するといいます。帰無仮説を棄却できたら、対立仮説が正しいと考えます。
「言いたいことの反対を仮定して、それではおかしいことを示す」という流れは、数学の背理法に似ています。
4. 乱数で何回も試して、珍しさを調べる
「違いがないとき、20人中15人以上になる確率」は、数学(数学B)で計算できますが、シミュレーションでも調べられます。コンピュータの乱数でコインを20回投げ(=20人が半々で選ぶ)、表の回数を記録する。これを1000回繰り返します(乱数の使い方は「確率モデルのシミュレーション」の単元)。
図はその結果の1つです。表の回数は10回前後が多く、15回以上は1000回のうち21回、約 2.1% しかありませんでした。計算で求めた確率は約 2.07% で、ほぼ同じです。
このように、帰無仮説のもとで「実際の結果か、それ以上に偏った結果」が起こる確率をp値(ピーち)といいます。ここでは p値 ≒ 2.1% です。
シミュレーションの回数が少ないと割合がばらつくので、1000回以上繰り返します。
5. 有意水準と比べて判断する
「どれくらい珍しければ、たまたまではないと考えるか」の線を、調べる前に決めておきます。この線を有意水準(ゆういすいじゅん)といい、5%(0.05)がよく使われます。より慎重に判断したいときは 1% を使います。
- p値 ≦ 有意水準 → 帰無仮説を棄却する(「有意な差がある」という)。
- p値 > 有意水準 → 帰無仮説を棄却できない。
15人のときは p値 ≒ 2.1% < 5% なので帰無仮説を棄却し、「新しいパンのほうが好まれる」と考えます。もし13人だったら、13人以上になる割合はシミュレーションで 14.6%(計算では約 13.2%)。5% より大きいので、棄却できません。
6. 言えること・言えないこと
仮説検定の結果は、言い方に注意が必要です。
棄却できたとき:「違いがあると考えられる」とは言えますが、「絶対に違いがある」と証明されたわけではありません。有意水準5%は、本当は違いがないのに、間違って棄却してしまう確率を5%以下におさえるための基準です(この例では15人以上で棄却するので、その確率は約2.1%)。間違って棄却する可能性は残ります。
棄却できなかったとき:「違いがあるとは言えない」だけで、「違いはない」と証明されたわけではありません。人数が少なくて、本当はある差を見つけられなかっただけかもしれないからです。
また、標本が偏っていたら(パン好きの人ばかりに聞いた など)、検定をしても正しい判断にはなりません。
7. 人数を増やすと、判断が確かになる
同じ 75% でも、4人中3人と100人中75人では意味が大きく違います。好みに違いがないとき、4人中3人以上になる確率は 5/16 = 31.25% で、普通に起こります。一方、100人中75人以上になる確率は約 0.00003% で、たまたまではまず起こりません。
標本が大きい(人数が多い)ほど、割合(%)がたまたまでずれる大きさは小さくなり、小さな本当の差も見つけやすくなります。少ない人数の調査の結果は、信じすぎないようにしましょう。
仮説検定の考え方は、Webページの2つのデザインを見せ分けてどちらがよく押されるかを比べる A/Bテスト、薬の効き目を確かめる試験などで使われています。

ひとことで言うと「違いがない」と仮定して、結果の珍しさで判断する。珍しければ、たまたまとは考えにくいので、違いがあると考える。
例題
例題1 シミュレーションの結果から判断する
Aさんは、家のさいころは1の目が出やすいのではないかと考え、60回ふりました。1の目は17回出ました。そこで「どの目も 1/6 で出る」として60回ふることを、乱数で1000回シミュレーションしたところ、1の目が17回以上出たのは21回でした。有意水準5%で判断しましょう。
- 帰無仮説は「どの目も 1/6 で出る(1が出やすくはない)」、対立仮説は「1の目が出やすい」。
- 帰無仮説のもとで17回以上になる割合(p値)は 21 ÷ 1000 = 2.1%(計算で求めた確率は約 1.6%)。
- 2.1% < 5% なので帰無仮説を棄却し、「このさいころは1の目が出やすいと考えられる」と判断します。
- ただし「必ず出やすい」と証明されたわけではありません。もう一度たくさんふって確かめると、より確かになります。
例題2 仮説を立てる
Bさんは、新しい練習方法でフリースローの成功率が上がったかを調べたい。これまでの成功率は 60% でした。新しい練習のあと、30本中24本が入りました。帰無仮説と対立仮説を答えましょう。
- 本当に言いたいこと(対立仮説)は「成功率は 60% より上がった」。
- それを打ち消す前提(帰無仮説)は「成功率は 60% のまま(上がっていない)」。
- このあと、成功率 60% として30本打つシミュレーションを何回もして、24本以上入る割合(p値)を調べ、有意水準と比べます。
練習
さわってみよう
何回も試して、珍しさを見る
「違いはない」と仮定して、乱数で試しを繰り返します。まず「1回試す」を何度か押して、毎回結果が変わることを見ましょう。次に「1000回試す」を押して、実際に観察した数(オレンジの棒)以上(以下)になる割合を見ます。スライダーで観察した数を変えると、割合はどう変わるでしょう。
同じ「違いはない」でも、毎回の結果はばらつきます。観察した結果がその分かれ方の「端」にあるほど、たまたまでは起こりにくく、帰無仮説を疑う理由になります。
やってみよう(共通テスト形式)
このサイトで作った問題です(過去の試験問題ではありません)。
文化祭で、あるクラスが「当たり 25%」と書いたくじを出していた。生徒会の S さんが見回りのとき、40回分の記録を見ると、当たりは 4回だけだった。S さんは「表示より当たりにくいのではないか」と考え、仮説検定の考え方で調べることにした。
S さんは、当たりの確率を 25% として40回くじを引くことを、表計算ソフトウェアの乱数で 1000回 シミュレーションし、当たりの回数ごとに何回あったかを数えた。次の表と図はその結果の一部である。
| 当たりの回数 | 0 | 1 | 2 | 3 | 4 | 5 | 6 |
|---|---|---|---|---|---|---|---|
| 1000回のうちの回数 | 0 | 0 | 2 | 6 | 6 | 30 | 52 |
この単元が出た過去問の解説
ちょっと寄り道:豆知識・こぼれ話
試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。
「ミルクが先か、紅茶が先か」を当てる実験
イギリスの統計学者ロナルド・フィッシャーは、1935年の本で、ある婦人が「ミルクティーは、ミルクを先に入れたか紅茶を先に入れたか、飲めば分かる」と言った話を元に、実験の計画を説明しました。カップを8つ用意し、4つはミルクが先、4つは紅茶が先にして、順番をでたらめにして飲んでもらいます。婦人には「それぞれ4つずつある」と先に伝え、ミルクが先のカップを4つ選んでもらいます。本当は区別できないのに、当てずっぽうでその4つをすべて正しく選ぶ確率は、8つから4つを選ぶ70通りのうちの1通りで、約1.4%です(このとき、残りの4つも自動的に正しく分けられます)。もし全部当たれば「たまたま」とは考えにくい、というのが仮説検定の考え方です。
参考:R. A. Fisher『The Design of Experiments』(1935) 第2章/組合せ 8C4=70 は自分で計算
t検定を考えたのは、ビール会社の技術者
少ない人数(標本)からでも判断できる検定の方法「t検定」は、1908年に「スチューデント(学生)」というペンネームの論文で発表されました。書いたのは、アイルランドのダブリンにあるビール醸造会社で働いていた化学者ウィリアム・ゴセットです。原料の大麦の品質を調べるとき、たくさんの試料は用意できないので、少ないデータで判断する方法が必要だったのです。会社が社員の名前で論文を出すことを認めていなかったため、ペンネームが使われたといわれます。今でも「スチューデントの t 分布」という名前が残っています。
参考:Student, “The Probable Error of a Mean”, Biometrika, 6 (1908)/St Andrews 大学 MacTutor「William Sealy Gosset」
「5%」は自然の法則ではない
有意水準によく使われる5%は、自然界で決まった数ではなく、人が決めた目安です。フィッシャーは1925年の本で、「20回に1回くらいしか起こらないこと」を、判断の区切りとして使うのが便利だと書きました。これが広まり、5%が習慣のように使われるようになりました。2016年には、アメリカ統計学会が「p値が0.05より小さいかどうかだけで結論を決めてはいけない」という声明を出しています。結果を見るときは、差の大きさやデータの集め方も合わせて考えることが大切です。
参考:R. A. Fisher『Statistical Methods for Research Workers』(1925)、American Statistical Association「ASA Statement on Statistical Significance and P-Values」(2016)
わからなかったら、ここへもどる
- 確率モデルのシミュレーション(乱数・待ち行列)
- 中学数学「確率」「標本調査」準備中
先生・おうちの方へ
つまずきやすい所:①帰無仮説と対立仮説を逆にする(言いたいことを帰無仮説にしてしまう)。②「棄却できない」を「違いがないと証明された」と読む。③p値を「帰無仮説が正しい確率」と読む(p値は、帰無仮説が正しいと仮定したとき、実際の結果以上に偏った結果が起こる確率)。
数学との関係:仮説検定は数学Ⅰ(仮説検定の考え方)・数学B(統計的な推測)で扱います。このページでは数学Bを学んでいない人を前提に、二項分布などの計算は使わず、乱数のシミュレーションで確率を見積もる方法を中心にしました。学習指導要領の解説 情報Ⅰ (4)イ(ウ) に「データの傾向について評価するために仮説検定の考え方などを取り扱ったりすることも考えられる」とあります。
片側と両側:このページの例は、「多いほう(少ないほう)に偏っているか」だけを調べる片側の考え方です。「違いがあるか(どちら向きでも)」を調べるときは両側で考え、p値の求め方が変わります。
p値と有意水準が等しいとき:このページは、文部科学省の教員研修用教材(学習22)の「p値が有意水準以下になるとき棄却する」に合わせました。本によっては「有意水準より小さいとき棄却する」と書くものもあり、ちょうど等しいときの扱いが分かれます。ページ内の数値例や問題の答えには影響しません。
ページの数値について:図・問題のシミュレーション結果は、Python の random モジュールで種(seed)を決めて作った固定の結果です。計算で求めた確率(二項分布)と合わせて verify/c4-kentei.py で確かめています。「さわってみよう」は動かすたびに結果が変わります。
学習指導要領:情報Ⅰ (4)ア(ウ)・イ(ウ) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (4)イ(ウ)(データの傾向について評価するために仮説検定の考え方などを取り扱う)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第4章 学習22(量的データの統計的仮説検定、帰無仮説・対立仮説、有意水準、p値、A/Bテスト)