← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱E 確率で選ぶAI照合済み

予測の外れ具合を測る:エントロピーと交差エントロピー

確率で予測するモデルのよさは、どんなものさしで測るのでしょうか。
イメージ図(AI生成)
この章の答え交差エントロピーは、予測した確率の、外れ具合を測るものさしです。
必要な数学対数(log)・確率
目安読むのに約4分、そのあと図をさわります
読みもの

驚きの大きさを、ビットで測る

天気予報が「明日は晴れます」と言って、本当に晴れても、あまり驚きません。「明日は雪です」と言って、本当に雪が降れば、驚きます。この「驚きの大きさ」を、数で測れないか。そう考えるところから、情報量という発想が生まれました。

めずらしいほど、情報は大きい

確率 q の出来事が起きたと知ったときの情報量を、−log₂ q ビットと決めます。50%の出来事なら1ビット、25%なら2ビット、12.5%なら3ビット。起きにくいことが起きたほど、情報量が大きい、という約束です。

平均すると、エントロピー

本当の確率 p を持つ出来事の、情報量の平均が、エントロピーです。p=(0.5, 0.25, 0.25) なら、0.5×1+0.25×2+0.25×2=1.5ビット。結果が読みにくい、つまり確率が散らばっているほど、エントロピーは大きくなります。

エントロピーは、「結果の読みにくさ」の平均である。

予測が外れると、交差エントロピーが増える

では、確率を予測するモデルのよさは、どう測るのでしょうか。本当は p なのに、モデルが予測 q を出したとして、q の情報量で測った平均が、交差エントロピーです。q が一様(1/3ずつ)なら 1.585 ビット、q=p なら 1.5 ビット、q が (0.1, 0.1, 0.8) と大きく外れていれば 2.572 ビットです。

学習の損失として

交差エントロピーは、q=p のときに最小になり、その値がエントロピーです。そのため、確率を出すモデルの学習では、交差エントロピーを損失にして、小さくします。正解が1つの語のときは、正解の語に与えた確率の −log になります。ソフトマックスと組み合わせて広く使われる、基本のものさしです。

ビットの直感

1ビットは、同じ確率で起こる「はい/いいえ」の2択の結果を、知ったときの情報量です。8つの候補から1つを当てるには、2択を3回、つまり3ビット必要です。だから、確率12.5%(8分の1)の出来事が3ビットなのは、自然な値だと分かります。エントロピーは、「平均して何回の2択で、結果を言い当てられるか」の目安だと言い換えられます。

損失として使う理由

交差エントロピーが、確率を出すモデルの損失に向いているのは、予測が外れたときに、はっきりと大きな値になるからです。正解に、ほぼ0の確率をつけていたら、その −log は非常に大きくなります。つまり、「自信満々で外す」ことに、強い罰がかかります。確率の予測を、正直に出すよう、学習を促す仕組みになっているのです。

手を動かして確かめる

次の語の候補が3つあり、本当の確率 p が、50%・25%・25%だとします(自作の例)。モデルは、確率の予測 q を出します。q が p にどれだけ近いかを、「情報」の量で測るのが、交差エントロピーです。単位はビット(log の底が2)です。

3つの重みを動かして、予測 q を変えてください。「一様」「本当の確率と同じ」「外れた予測」のボタンでも試せます。

計算を順に追う

1. めずらしい出来事ほど、情報は大きい

確率 q で起こる出来事が起きたと知ったとき、その情報の量を −log₂ q ビットとします。50%の出来事なら1ビット、25%なら2ビット、12.5%なら3ビットです。起きにくいことが起きたほど、驚きが大きい、という考え方です。

情報量 = −log₂ q q = 1/2 → 1 ビット q = 1/4 → 2 ビット q = 1/8 → 3 ビット

2. 平均した情報量が、エントロピー

本当の確率 p の出来事の、情報量の平均が、エントロピー H(p) です。p=(0.5, 0.25, 0.25) なら、0.5×1+0.25×2+0.25×2=1.5 ビットです。結果が読みにくい(確率が散らばる)ほど、エントロピーは大きくなります。

H(p) = −Σ pᵢ log₂ pᵢ = 1.5 ビット

3. 予測 q で測ると、交差エントロピー

本当は p なのに、予測 q の情報量で測った平均が、交差エントロピー H(p, q) です。q が一様(1/3ずつ)なら 1.585 ビット、q=p なら 1.5 ビット、q が (0.1, 0.1, 0.8) と外れていると 2.572 ビットです。H(p, q) は、q=p のときに最小で、その値が H(p) です。

H(p, q) = −Σ pᵢ log₂ qᵢ 一様:1.585(差 0.085) 同じ:1.500(差 0) 外れ:2.572(差 1.072)

4. 学習の損失として使う

確率を出すモデルの学習では、交差エントロピーを、損失として小さくします。正解が1つの語(確率1)のときは、H(p, q) は、正解の語に q がつけた確率の −log になります。前の章の softmax と組み合わせて、広く使われる損失です。

思い出しメモ log₂ x は、「2を何乗すると x になるか」です。log₂ 8=3、log₂ (1/2)=−1 です。
ひとことで言うと交差エントロピーは、予測した確率の、外れ具合を測るものさしです。

今につながる話

次の言葉を予測するAIや、画像を分類するAIの学習では、交差エントロピーを損失にする方法が広く使われます。確率を正しく出せているかを測る、基本のものさしです。

つながり(ほかのシリーズ)

なるほど2問

出典と確認状態

ほんとうは…(単位と底)

対数の底を2にすると、単位はビット、自然対数(底 e)にすると、ナットになります。AIの学習では、自然対数を使うことも多く、その場合は値が約0.69倍になりますが、大小関係は変わりません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください