たのしい統計← たのしく学びなおし 一覧へ
F 検査や薬の効果の読み方AI照合済み

p値の読み方:有意とは何か

「統計的に有意な差がありました」と報じられました。大きな差があった、効果は確かだ、という意味でしょうか。
この章は統計の考え方の説明です。診断や治療の助言ではありません。薬や検査、健康法については、医師・薬剤師などの専門家に相談してください。ここで使う数値は説明用の架空の仮定か、教材中の設定で、実在の薬や治療の効果ではありません。

具体例

総務省統計局の教材に、こんな例があります。公表値が135gのポテトを10個量ると、平均は130gでした。「本当は135gだ」と仮定したとき、平均がここまで、またはそれ以上にずれる確率(p値)は、教材の設定(重量が正規分布に従い、母標準偏差6gが既知)のもとで、教材の計算で約0.0083(0.8%)。有意水準0.05より小さいので「有意」とされます。

では、「有意」なら差は大きく、確かなのでしょうか。架空の例で、学習アプリの利用者と非利用者のテストを比べます(独立な2群で、母標準偏差10点が既知の両側Z検定とします)。各1万人で平均が0.5点ちがえばp=0.0004で有意、各30人で5点ちがってもp=0.053で有意になりません。有意かどうかは、差の大きさだけでなく、人数にも左右されるのです。

さわって確かめる

しくみ

1. p値は何を表すか米国統計学会(ASA)の2016年の声明は、p値は「データが、指定した統計モデル(たとえば差がないという仮定)とどれだけ合わないか」を示すもの、と述べています。「仮説が正しい確率」でも「偶然だけで起きた確率」でもない、とも明記されています。
p値 = 差がないと仮定したとき、観察された差以上に極端な結果が出る確率
2. 有意は、効果の大きさや重要さではないASAの声明は、p値や統計的有意性は効果の大きさや結果の重要さを測らない、としています。人数が多いと、ごく小さな差でも有意になります。差の大きさ(効果量)と、その信頼区間を一緒に見ます。
3. 何度も検定すると、偶然の有意が出る差が全くない20項目を、有意水準0.05で検定します。各検定が独立で、それぞれの偽陽性率が0.05なら、1つ以上が有意になる確率は 1−0.95の20乗 ≒ 64%です。平均して1項目は有意になります(この平均は独立でなくても成り立ちます)。関連した項目を検定する場合は、この確率は変わります。ウィジェットで項目数を動かして確かめられます。声明も「完全な報告と透明性」を求めており、調べた項目の数を隠して有意だけを示すのは誤りのもとです。
独立な検定で、1つ以上が偶然に有意 = 1 − (1 − 0.05)の項目数乗
4. 基準を超えたかだけで決めない声明は、科学的な結論や政策の判断を、p値が基準を超えたかだけに頼ってはならない、としています。調べた数、差の大きさ、計画の立て方、ほかの研究との整合をあわせて読みます。基準を厳しくする方法もあります。たとえば0.05を項目数で割るボンフェローニ補正は、独立でなくても「1つ以上の偽陽性が出る確率を5%以下に抑える」方法ですが、万能ではありません。
ひとことで言うと:「有意」は「差が大きい」ではない。何回調べたかも、一緒に見る。

今につながる話

ニュースの「有意差あり」は、まず差そのものの大きさと対象の人数を探します。「有意な差」の見出しでも、差は小さいかもしれません。逆に、有意でなかった結果は「差がない」と証明されたわけではなく、人数が少なくて見分けられなかっただけかもしれません。

一つの研究の中で多くの項目を調べ、有意だった項目だけを紹介していないかにも注意します。事前に決めた主な項目なのか、あとから探した項目なのかで、重みが違います。健康や薬の話題では、個別の判断を自分で決めず、専門家に相談してください。

見方が分かれる点・注意

有意水準0.05という基準 0.05は広く使われる慣習で、理論的に決まった値ではありません。基準そのものを変える、使わない、といった提案があり、見方が分かれています(諸説あり)。

p値のかわりに何を使うか ASAの声明は、検定より推定を重視する方法(信頼区間など)やベイズ的な方法を補う手段として挙げています。どれが最善かは、場面によって意見が分かれます。

つながり

確認2問

Q1. p値が0.03のとき、正しい説明はどれですか。
Q2. 本当は差が全くない40項目を、有意水準0.05で検定します。偶然に有意になる項目は、平均していくつでしょうか。

出典と確認状態

数値値時点出典
教材例のp値(ポテトの重量、n=10)平均130g、公表値135g、Z=−2.64、p=0.0083(両側)。正規分布・母標準偏差6g既知の設定教材中の設定値(取得 2026-11-10)総務省統計局 なるほど統計学園。筆者が再計算し、丸め前のZ=−2.635ではp=0.0084
架空例:大人数で小さな差各10,000人、差0.5点(母標準偏差10点が既知、独立な2群の両側Z検定):p=0.0004架空筆者計算(verify/check_g16.py)
架空例:少人数で大きな差各30人、差5点(母標準偏差10点が既知、独立な2群の両側Z検定):p=0.053架空筆者計算(verify/check_g16.py)
差が全くない項目を検定したときの偶然の有意20項目:各検定が独立で偽陽性率0.05なら、1つ以上が有意になる確率は64%(1−0.95の20乗)。基準を0.05÷20=0.0025にすると、独立の場合は約4.9%計算値筆者計算。乱数による1,000回の検算も一致(種固定)

確認状態:AI照合済み(Fable5.2指摘反映 2026-11-11)

章の一覧へ

この章で、まちがいや古くなった数字に気づいたら、報告フォームから教えてください