情報の勉強高校 情報Ⅰ

第4章 情報通信ネットワークとデータの活用

仮説検定の考え方(「たまたま」か、本当の違いか)

20人中15人が新しいパンをおいしいと言ったら、本当に新しいほうがおいしいのでしょうか。それとも、たまたまでしょうか。「たまたまでも起こるか」を確率で確かめる方法が仮説検定です。計算の公式ではなく、乱数らんすうのシミュレーションで「どれくらい珍しいか」を見る考え方を中心に学びます。

説明

1. 全部は調べられない:母集団と標本

「この市の高校生は、1日に何時間スマホを使うか」を知りたくても、全員に聞くのは大変です。そこで一部の人を選んで調べ、全体のようすを考えます。

知りたい全体を母集団(ぼしゅうだん)、実際に調べる一部を標本(ひょうほん)といいます。全員を調べる全数調査ぜんすうちょうさ(国勢調査など)に対して、標本で調べる方法を標本調査といいます。

標本は、くじ引きのように偏りなく選ぶことが大切です(無作為抽出むさくいちゅうしゅつ)。みそ汁の味見は、よくかき混ぜてから一口飲めば、なべ全体の味が分かるのと同じです。ただし標本はあくまで一部なので、選び方によって結果が少しずつ変わる(たまたまの差が出る)ことに注意が必要です。

母集団(調べたい全体)選ぶ標本(調べる一部)偏りなく(くじ引きのように)選ぶ = 無作為抽出
全体(母集団)から、偏りなく一部(標本)を選んで調べる。

2. その差は「たまたま」?

パン屋さんが新しいパンを作りました。どちらか分からないようにして、20人にいつものパンと食べ比べてもらうと、15人が新しいパンのほうがおいしいと答えました。

「新しいほうがおいしい」と決めてよいでしょうか。もし、本当は好みに違いがなく、1人1人が半々の確率でどちらかを選んでいるとしたら……。それは1人1人がコインを投げて決めるのと同じです。コインを20回投げても、たまたま表が15回出ることはあります。

問題は「それがどれくらい珍しいか」です。とても珍しいなら、「たまたま」とは考えにくいので、本当に違いがあると考えます(たまたまの可能性が 0 になるわけではありません)。この考え方で判断する方法を仮説検定(かせ付けんてい)といいます。

20人の食べ比べ:どちらがおいしい?新しいパン 15人いつものパン 5人もし味の好みに違いがなければ、1人1人がコインを投げて決めるのと同じ(半々)。それでも 15人になる?
好みに違いがなくても、たまたま差が出ることはある。
家庭科室で、高校生たちが白い皿と水色の皿にのった、よく似た丸いパンを食べ比べ、手を挙げたり考え込んだりしている
どちらのパンか分からないようにして食べ比べる。

3. 2つの仮説を立てる

仮説検定では、まず2つの仮説を立てます。

  • 対立仮説たいりつかせつ:本当に言いたいこと(新しいパンのほうが好まれる)。
  • 帰無仮説(きむかせつ):それを打ち消す前提(好みに違いはない=半々)。

そして、帰無仮説が正しいと仮定したとき、実際の結果(15人以上)がどれくらいの確率で起こるかを調べます。その確率がとても小さければ、「帰無仮説が正しいとすると、めったに起こらないことが起きた。だから帰無仮説のほうがおかしい」と考えて、帰無仮説を捨てます。これを棄却(ききゃく)するといいます。帰無仮説を棄却できたら、対立仮説が正しいと考えます。

「言いたいことの反対を仮定して、それではおかしいことを示す」という流れは、数学の背理法はいりほうに似ています。

対立仮説(言いたいこと)新しいパンのほうが好まれる帰無仮説(打ち消したい前提)好みに違いはない(半々)① 帰無仮説が正しいと仮定して、20人中 15人以上になる確率を調べる② その確率(p値)を、有意水準(5%)と比べる5% 以下→ 帰無仮説を捨てる(棄却)5% より大きい→ 帰無仮説を捨てられない「新しいほうが好まれる」と考える「違いがある」とは言えない
帰無仮説を仮定し、結果の珍しさで判断する。

4. 乱数で何回も試して、珍しさを調べる

「違いがないとき、20人中15人以上になる確率」は、数学(数学B)で計算できますが、シミュレーションでも調べられます。コンピュータの乱数でコインを20回投げ(=20人が半々で選ぶ)、表の回数を記録する。これを1000回繰り返します(乱数の使い方は「確率モデルのシミュレーション」の単元)。

図はその結果の1つです。表の回数は10回前後が多く、15回以上は1000回のうち21回、約 2.1% しかありませんでした。計算で求めた確率は約 2.07% で、ほぼ同じです。

このように、帰無仮説のもとで「実際の結果か、それ以上に偏った結果」が起こる確率をp値(ピーち)といいます。ここでは p値 ≒ 2.1% です。

0501001502000123456789101112131415161718192020回のうち表が出た回数(20人中、新しいパンを選ぶ人数と同じ)15以上:1000回中 21回→ 約 2.1%(回)
「違いがない」ときの結果の分かれ方。15以上(オレンジ)はわずか。

シミュレーションの回数が少ないと割合がばらつくので、1000回以上繰り返します。

5. 有意水準と比べて判断する

「どれくらい珍しければ、たまたまではないと考えるか」の線を、調べる前に決めておきます。この線を有意水準(ゆういすいじゅん)といい、5%(0.05)がよく使われます。より慎重に判断したいときは 1% を使います。

  • p値 ≦ 有意水準 → 帰無仮説を棄却する(「有意な差がある」という)。
  • p値 > 有意水準 → 帰無仮説を棄却できない。

15人のときは p値 ≒ 2.1% < 5% なので帰無仮説を棄却し、「新しいパンのほうが好まれる」と考えます。もし13人だったら、13人以上になる割合はシミュレーションで 14.6%(計算では約 13.2%)。5% より大きいので、棄却できません。

0%5%10%15%20%有意水準 5%珍しい15人:2.1%→ 帰無仮説を棄却13人:14.6%→ 棄却できない
p値が有意水準以下かどうかで判断する。

6. 言えること・言えないこと

仮説検定の結果は、言い方に注意が必要です。

棄却できたとき:「違いがあると考えられる」とは言えますが、「絶対に違いがある」と証明されたわけではありません。有意水準5%は、本当は違いがないのに、間違って棄却してしまう確率を5%以下におさえるための基準です(この例では15人以上で棄却するので、その確率は約2.1%)。間違って棄却する可能性は残ります。

棄却できなかったとき:「違いがあるとは言えない」だけで、「違いはない」と証明されたわけではありません。人数が少なくて、本当はある差を見つけられなかっただけかもしれないからです。

また、標本が偏っていたら(パン好きの人ばかりに聞いた など)、検定をしても正しい判断にはなりません。

15人(2.1%)のとき言える:新しいパンのほうが好まれると考えられる(有意水準5%で)言えない:絶対に好まれると証明できた(差がないとしても、15人以上になることは2%ほどの確率で起こりうる)13人(14.6%)のとき言える:このデータでは「違いがある」とは言えない言えない:「違いはない」と証明できた(人数が少なくて、差を見つけられないだけかも)
「棄却できない」は「違いがない」ではない。

7. 人数を増やすと、判断が確かになる

同じ 75% でも、4人中3人と100人中75人では意味が大きく違います。好みに違いがないとき、4人中3人以上になる確率は 5/16 = 31.25% で、普通に起こります。一方、100人中75人以上になる確率は約 0.00003% で、たまたまではまず起こりません。

標本が大きい(人数が多い)ほど、割合(%)がたまたまでずれる大きさは小さくなり、小さな本当の差も見つけやすくなります。少ない人数の調査の結果は、信じすぎないようにしましょう。

仮説検定の考え方は、Webページの2つのデザインを見せ分けてどちらがよく押されるかを比べる A/Bテスト、薬の効き目を確かめる試験などで使われています。

4人中3人(75%)100人中75人(75%)012343人以上:5/16 = 31.25%→ 普通に起こる3050757575人以上:約 0.00003%→ たまたまでは、まず起こらない
割合が同じでも、人数が多いほど「たまたま」では説明しにくくなる。
少ない人数の人の形と、たくさんの人の形を比べる図
少ない人数の調査は、たまたまの影響を受けやすい。

ひとことで言うと「違いがない」と仮定して、結果の珍しさで判断する。珍しければ、たまたまとは考えにくいので、違いがあると考える。

例題

例題1 シミュレーションの結果から判断する

Aさんは、家のさいころは1の目が出やすいのではないかと考え、60回ふりました。1の目は17回出ました。そこで「どの目も 1/6 で出る」として60回ふることを、乱数で1000回シミュレーションしたところ、1の目が17回以上出たのは21回でした。有意水準5%で判断しましょう。

例題2 仮説を立てる

Bさんは、新しい練習方法でフリースローの成功率が上がったかを調べたい。これまでの成功率は 60% でした。新しい練習のあと、30本中24本が入りました。帰無仮説と対立仮説を答えましょう。

練習

1
全国の高校生の睡眠すいみん時間を調べるために、全国から偏りなく1000人を選んで聞きました。このとき、母集団はどれですか。
2
「このコインは表が出やすい」かを仮説検定で調べます。帰無仮説として最も適当なものはどれですか。
3
帰無仮説のもとでシミュレーションを1000回したところ、実際の結果以上に偏った結果は38回でした。p値は何% ですか。
4
p値が 3.8%、有意水準が 5% のとき、判断として最も適当なものはどれですか。
5
仮説検定の結果、「帰無仮説を棄却できなかった」とき、言い方として最も適当なものはどれですか。

さわってみよう

何回も試して、珍しさを見る

「違いはない」と仮定して、乱数で試しを繰り返します。まず「1回試す」を何度か押して、毎回結果が変わることを見ましょう。次に「1000回試す」を押して、実際に観察した数(オレンジの棒)以上(以下)になる割合を見ます。スライダーで観察した数を変えると、割合はどう変わるでしょう。

同じ「違いはない」でも、毎回の結果はばらつきます。観察した結果がその分かれ方の「端」にあるほど、たまたまでは起こりにくく、帰無仮説を疑う理由になります。

やってみよう(共通テスト形式)

このサイトで作った問題です(過去の試験問題ではありません)。

文化祭で、あるクラスが「当たり 25%」と書いたくじを出していた。生徒会の S さんが見回りのとき、40回分の記録を見ると、当たりは 4回だけだった。S さんは「表示より当たりにくいのではないか」と考え、仮説検定の考え方で調べることにした。

S さんは、当たりの確率を 25% として40回くじを引くことを、表計算ソフトウェアの乱数で 1000回 シミュレーションし、当たりの回数ごとに何回あったかを数えた。次の表と図はその結果の一部である。

当たりの回数0123456
1000回のうちの回数002663052
問1
S さんが立てる帰無仮説として最も適当なものを選べ。
問2
シミュレーションの結果で、当たりが 4回以下だったのは 1000回のうち何% か。
0501001500246810121416182040回のうち当たりの回数(回)
問3
有意水準を 5% としたとき、S さんの判断として最も適当なものを選べ。
問4
もし当たりが 6回だった場合、6回以下になる割合はシミュレーションで 9.6% だった。このときの言い方として最も適当なものを選べ。

この単元が出た過去問の解説

ちょっと寄り道:豆知識・こぼれ話

試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。

「ミルクが先か、紅茶が先か」を当てる実験

イギリスの統計学者ロナルド・フィッシャーは、1935年の本で、ある婦人が「ミルクティーは、ミルクを先に入れたか紅茶を先に入れたか、飲めば分かる」と言った話を元に、実験の計画を説明しました。カップを8つ用意し、4つはミルクが先、4つは紅茶が先にして、順番をでたらめにして飲んでもらいます。婦人には「それぞれ4つずつある」と先に伝え、ミルクが先のカップを4つ選んでもらいます。本当は区別できないのに、当てずっぽうでその4つをすべて正しく選ぶ確率は、8つから4つを選ぶ70通りのうちの1通りで、約1.4%です(このとき、残りの4つも自動的に正しく分けられます)。もし全部当たれば「たまたま」とは考えにくい、というのが仮説検定の考え方です。

参考:R. A. Fisher『The Design of Experiments』(1935) 第2章/組合せ 8C4=70 は自分で計算

t検定を考えたのは、ビール会社の技術者

少ない人数(標本)からでも判断できる検定の方法「t検定」は、1908年に「スチューデント(学生)」というペンネームの論文で発表されました。書いたのは、アイルランドのダブリンにあるビール醸造じょうぞう会社で働いていた化学者ウィリアム・ゴセットです。原料の大麦の品質を調べるとき、たくさんの試料は用意できないので、少ないデータで判断する方法が必要だったのです。会社が社員の名前で論文を出すことを認めていなかったため、ペンネームが使われたといわれます。今でも「スチューデントの t 分布」という名前が残っています。

参考:Student, “The Probable Error of a Mean”, Biometrika, 6 (1908)/St Andrews 大学 MacTutor「William Sealy Gosset」

「5%」は自然の法則ではない

有意水準によく使われる5%は、自然界で決まった数ではなく、人が決めた目安です。フィッシャーは1925年の本で、「20回に1回くらいしか起こらないこと」を、判断の区切りとして使うのが便利だと書きました。これが広まり、5%が習慣のように使われるようになりました。2016年には、アメリカ統計学会が「p値が0.05より小さいかどうかだけで結論を決めてはいけない」という声明を出しています。結果を見るときは、差の大きさやデータの集め方も合わせて考えることが大切です。

参考:R. A. Fisher『Statistical Methods for Research Workers』(1925)、American Statistical Association「ASA Statement on Statistical Significance and P-Values」(2016)

わからなかったら、ここへもどる

あわせて読む

次はこれ

先生・おうちの方へ

つまずきやすい所:①帰無仮説と対立仮説を逆にする(言いたいことを帰無仮説にしてしまう)。②「棄却できない」を「違いがないと証明された」と読む。③p値を「帰無仮説が正しい確率」と読む(p値は、帰無仮説が正しいと仮定したとき、実際の結果以上に偏った結果が起こる確率)。

数学との関係:仮説検定は数学Ⅰ(仮説検定の考え方)・数学B(統計的な推測すいそく)で扱います。このページでは数学Bを学んでいない人を前提に、二項分布などの計算は使わず、乱数のシミュレーションで確率を見積もる方法を中心にしました。学習指導要領の解説 情報Ⅰ (4)イ(ウ) に「データの傾向について評価するために仮説検定の考え方などを取り扱ったりすることも考えられる」とあります。

片側と両側:このページの例は、「多いほう(少ないほう)に偏っているか」だけを調べる片側の考え方です。「違いがあるか(どちら向きでも)」を調べるときは両側で考え、p値の求め方が変わります。

p値と有意水準が等しいとき:このページは、文部科学省の教員研修用教材(学習22)の「p値が有意水準以下になるとき棄却する」に合わせました。本によっては「有意水準より小さいとき棄却する」と書くものもあり、ちょうど等しいときの扱いが分かれます。ページ内の数値例や問題の答えには影響しません。

ページの数値について:図・問題のシミュレーション結果は、Python の random モジュールで種(seed)を決めて作った固定の結果です。計算で求めた確率(二項分布)と合わせて verify/c4-kentei.py で確かめています。「さわってみよう」は動かすたびに結果が変わります。

学習指導要領:情報Ⅰ (4)ア(ウ)・イ(ウ) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (4)イ(ウ)(データの傾向について評価するために仮説検定の考え方などを取り扱う)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第4章 学習22(量的データりょうてきでーたの統計的仮説検定、帰無仮説・対立仮説、有意水準、p値、A/Bテスト)