驚きの大きさを、ビットで測る
天気予報が「明日は晴れます」と言って、本当に晴れても、あまり驚きません。「明日は雪です」と言って、本当に雪が降れば、驚きます。この「驚きの大きさ」を、数で測れないか。そう考えるところから、情報量という発想が生まれました。
めずらしいほど、情報は大きい
確率 q の出来事が起きたと知ったときの情報量を、−log₂ q ビットと決めます。50%の出来事なら1ビット、25%なら2ビット、12.5%なら3ビット。起きにくいことが起きたほど、情報量が大きい、という約束です。
平均すると、エントロピー
本当の確率 p を持つ出来事の、情報量の平均が、エントロピーです。p=(0.5, 0.25, 0.25) なら、0.5×1+0.25×2+0.25×2=1.5ビット。結果が読みにくい、つまり確率が散らばっているほど、エントロピーは大きくなります。
エントロピーは、「結果の読みにくさ」の平均である。
予測が外れると、交差エントロピーが増える
では、確率を予測するモデルのよさは、どう測るのでしょうか。本当は p なのに、モデルが予測 q を出したとして、q の情報量で測った平均が、交差エントロピーです。q が一様(1/3ずつ)なら 1.585 ビット、q=p なら 1.5 ビット、q が (0.1, 0.1, 0.8) と大きく外れていれば 2.572 ビットです。
学習の損失として
交差エントロピーは、q=p のときに最小になり、その値がエントロピーです。そのため、確率を出すモデルの学習では、交差エントロピーを損失にして、小さくします。正解が1つの語のときは、正解の語に与えた確率の −log になります。ソフトマックスと組み合わせて広く使われる、基本のものさしです。
ビットの直感
1ビットは、同じ確率で起こる「はい/いいえ」の2択の結果を、知ったときの情報量です。8つの候補から1つを当てるには、2択を3回、つまり3ビット必要です。だから、確率12.5%(8分の1)の出来事が3ビットなのは、自然な値だと分かります。エントロピーは、「平均して何回の2択で、結果を言い当てられるか」の目安だと言い換えられます。
損失として使う理由
交差エントロピーが、確率を出すモデルの損失に向いているのは、予測が外れたときに、はっきりと大きな値になるからです。正解に、ほぼ0の確率をつけていたら、その −log は非常に大きくなります。つまり、「自信満々で外す」ことに、強い罰がかかります。確率の予測を、正直に出すよう、学習を促す仕組みになっているのです。
