p値の読み方:有意とは何か
具体例
総務省統計局の教材に、こんな例があります。公表値が135gのポテトを10個量ると、平均は130gでした。「本当は135gだ」と仮定したとき、平均がここまで、またはそれ以上にずれる確率(p値)は、教材の設定(重量が正規分布に従い、母標準偏差6gが既知)のもとで、教材の計算で約0.0083(0.8%)。有意水準0.05より小さいので「有意」とされます。
では、「有意」なら差は大きく、確かなのでしょうか。架空の例で、学習アプリの利用者と非利用者のテストを比べます(独立な2群で、母標準偏差10点が既知の両側Z検定とします)。各1万人で平均が0.5点ちがえばp=0.0004で有意、各30人で5点ちがってもp=0.053で有意になりません。有意かどうかは、差の大きさだけでなく、人数にも左右されるのです。
さわって確かめる
しくみ
今につながる話
ニュースの「有意差あり」は、まず差そのものの大きさと対象の人数を探します。「有意な差」の見出しでも、差は小さいかもしれません。逆に、有意でなかった結果は「差がない」と証明されたわけではなく、人数が少なくて見分けられなかっただけかもしれません。
一つの研究の中で多くの項目を調べ、有意だった項目だけを紹介していないかにも注意します。事前に決めた主な項目なのか、あとから探した項目なのかで、重みが違います。健康や薬の話題では、個別の判断を自分で決めず、専門家に相談してください。
見方が分かれる点・注意
有意水準0.05という基準 0.05は広く使われる慣習で、理論的に決まった値ではありません。基準そのものを変える、使わない、といった提案があり、見方が分かれています(諸説あり)。
p値のかわりに何を使うか ASAの声明は、検定より推定を重視する方法(信頼区間など)やベイズ的な方法を補う手段として挙げています。どれが最善かは、場面によって意見が分かれます。
つながり
確認2問
出典と確認状態
| 数値 | 値 | 時点 | 出典 |
|---|---|---|---|
| 教材例のp値(ポテトの重量、n=10) | 平均130g、公表値135g、Z=−2.64、p=0.0083(両側)。正規分布・母標準偏差6g既知の設定 | 教材中の設定値(取得 2026-11-10) | 総務省統計局 なるほど統計学園。筆者が再計算し、丸め前のZ=−2.635ではp=0.0084 |
| 架空例:大人数で小さな差 | 各10,000人、差0.5点(母標準偏差10点が既知、独立な2群の両側Z検定):p=0.0004 | 架空 | 筆者計算(verify/check_g16.py) |
| 架空例:少人数で大きな差 | 各30人、差5点(母標準偏差10点が既知、独立な2群の両側Z検定):p=0.053 | 架空 | 筆者計算(verify/check_g16.py) |
| 差が全くない項目を検定したときの偶然の有意 | 20項目:各検定が独立で偽陽性率0.05なら、1つ以上が有意になる確率は64%(1−0.95の20乗)。基準を0.05÷20=0.0025にすると、独立の場合は約4.9% | 計算値 | 筆者計算。乱数による1,000回の検算も一致(種固定) |
- American Statistical Association「ASA Statement on Statistical Significance and P-Values」(2016年3月7日のプレスリリース) 取得 2026-11-10。6つの原則の要約(原則1、2、3、4、5、6)を確認。声明本文(学術誌掲載版)は取得できず未確認。定義の言い回しは原則1・2の要約にもとづく
- 総務省統計局「なるほど統計学園」統計的推定と統計的仮説検定 取得 2026-11-10。ポテトの重量の検定例(Z=−2.64、p=0.0083、有意水準0.05)を確認。数値は教材中の設定で、実測ではない
確認状態:AI照合済み(Fable5.2指摘反映 2026-11-11)
この章で、まちがいや古くなった数字に気づいたら、報告フォームから教えてください