読みもの
直感より、数えたほうが確かな場面
「無料」という単語が入っているメールは、迷惑メールでしょうか。迷惑メールの60%にこの単語が入っている、と聞けば、「60%くらいの確率で迷惑だ」と答えたくなります。ところが、それは、少し違います。この間違いやすさこそ、ベイズの定理が必要になる理由です。
1000通に当てはめて数える
全メールの20%が迷惑だとします。1000通のうち、迷惑が200通、通常が800通。迷惑のうち60%の120通に「無料」が入り、通常のうち5%の40通にも入ります。「無料」入りは合計160通で、そのうち迷惑は120通です。確率は、120÷160=75.0% です。
割合は、実際の件数に直して数えると、迷いにくくなる。
60% と 75% は、別の量
60%は「迷惑メールの中での、単語の出現率」。75%は「単語入りメールの中での、迷惑の割合」。割る相手(分母)が違う、別の量です。この取り違えが、直感を狂わせます。
事前が変わると、答えも変わる
元の割合(事前)が違えば、同じ単語でも答えは変わります。迷惑が全体の1%しかなければ、事後確率は 10.8%。半分なら、92.3% です。証拠だけでなく、もともとどれくらいありふれた事態かも、効いてくるのです。
証拠を重ねる
2つ目の単語「当選」も入っていたとすると、更新は掛け算で続けられます。2つの単語が、迷惑・通常のそれぞれの中で独立だと仮定すれば、確率は 98.9% です。ただし、単語どうしは、実際には独立でないことが多く、この仮定は計算を簡単にするための割り切りです。
「証拠で確率を更新する」という考え方は、迷惑メールの判定以外にも、AIのさまざまな場面の土台になっています。
「検査」の話にも通じる
迷惑メールの例と、同じ構造の話は、日常にも現れます。たとえば、ある病気が、人口の1%にしかなく、検査が、病気の人の90%を正しく見つけ、健康な人の5%を誤って陽性にするとします。このとき、陽性と出た人が実際に病気である確率は、直感より、ずっと低くなります。元の割合(事前)が小さいと、誤って陽性になる人の数が、相対的に多くなるからです。
数え直す習慣
このような場面で、判断を誤らないコツは、割合を、人数に直して数えることです。1000人のうち10人が病気で、そのうち9人が陽性。健康な990人のうち約50人も陽性。陽性は約59人で、本当の病気は9人、約15%です。数え直すと、直感との食い違いが、はっきり見えます。この感覚は、AIの出力を読むときにも、役立ちます。
手を動かして確かめる
全メールの20%が迷惑メールだとします(自作の例)。「無料」という単語は、迷惑メールの60%、通常メールの5%に入っています。ある1通に「無料」が入っていたとき、それが迷惑メールである確率はいくつでしょうか。直感では60%くらいと言いたくなりますが、元の割合(事前)も効いてきます。
3つのスライダーを動かして、1000通の内訳と、「無料」を含むメールが迷惑である確率(事後確率)を見てください。
計算を順に追う
1. 1000通に当てはめて数える
1000通のうち、迷惑は200通、通常は800通です。迷惑のうち60%の120通に「無料」が入り、通常のうち5%の40通にも入ります。「無料」入りは合計160通で、そのうち迷惑は120通なので、確率は 120÷160=75.0% です。60%は「迷惑メールの中での出現率」、75%は「単語入りメールの中での迷惑の割合」で、割る相手(分母)が違う、別の量です。
迷惑で単語あり = 1000 × 0.2 × 0.6 = 120
通常で単語あり = 1000 × 0.8 × 0.05 = 40
事後確率 = 120 / (120 + 40) = 0.75
2. 式にしたものが、ベイズの定理
「迷惑で単語あり」の割合を、「単語あり」全体の割合で割ったものです。事前(20%)を、証拠(単語)で、事後(75%)に更新した、と読みます。事前が変わると、答えも変わります。迷惑が全体の1%しかない場合は、同じ単語でも事後確率が10.8%、迷惑が半分の場合は92.3%です。
P(迷惑 | 単語) = P(単語 | 迷惑)·P(迷惑) / P(単語)
P(単語) = P(単語|迷惑)·P(迷惑) + P(単語|通常)·P(通常)
3. オッズで書くと、掛け算になる
確率 p を、オッズ p/(1−p) で表すと、更新は掛け算です。事前のオッズ 0.25 に、「迷惑のとき単語が出る率 ÷ 通常のとき出る率」の比 12 を掛けると、事後のオッズ 3、つまり確率 0.75 です。
事前オッズ 0.25 × 比 12 = 事後オッズ 3
確率 = 3 / (1 + 3) = 0.75
4. 証拠を重ねる(ナイーブベイズ)
2つ目の単語「当選」(迷惑の30%、通常の1%)も入っていたとします。2つの単語が、迷惑・通常のそれぞれの中で、互いに独立だと仮定すると、比を続けて掛けられます。3 × 30 = 90 で、確率は 90÷91=98.9% です。ただし、単語どうしは、実際には独立でないことが多く、この仮定は、計算を簡単にするための割り切りです。
思い出しメモ 割合を、実際の件数に直して数えると、迷いにくくなります。「1000通のうち何通か」と考えるのが、いちばん確実です。