得点を「確率」に直す、ひとつの関数
文章を作るAIは、次の言葉を選ぶとき、内部では候補ごとの「得点」を持っています。得点は、プラスにもマイナスにもなる、ただの実数です。「雨 2.0、晴れ 1.0、曇り 0.5」のように。この得点を、「雨が 62.9%、晴れが 23.1%、曇りが 14.0%」という確率にどう直すかが、この章の話題です。
直す条件は二つだけ
確率には、守るべき約束が二つあります。どれも 0 以上であること、そして全部足すと 1 になること。得点にマイナスがあるのが、まず問題です。そこで、得点を指数にして e の累乗にします。指数関数は、どんな実数からも正の数を作るので、一つ目の約束が満たされます。次に、全部の合計で割れば、二つ目の約束も満たされます。これだけの手順が、ソフトマックス関数です。
指数にして、合計で割る。それだけで、得点は確率になる。
「差」だけが効く
ソフトマックスには、見落としやすい性質があります。全部の得点に同じ数を足しても、確率が変わらないことです。効いているのは得点の差だけで、水準ではありません。「雨 2.0・晴れ 1.0」と「雨 102.0・晴れ 101.0」は、同じ確率になります。計算機の中では、この性質を使って、いちばん大きい得点を引いてから計算し、数が大きくなりすぎるのを避けています。
温度というつまみ
得点を、ある数 T で割ってからソフトマックスにかけると、確率の偏り方が変わります。T を小さくすれば、一位がほぼ確実に選ばれ、大きくすれば、どの候補もほぼ同じ確率に近づきます。生成するAIの「創造性」のつまみとして紹介される温度は、この T のことです。T を動かして確率がなだらかに変わる様子は、下の図で確かめられます。
一位だけを選ばない理由
最も確率の高い候補を毎回選べば、答えはいつも同じになり、文章は単調になりがちです。確率に従って選べば、同じ入力から、毎回少しずつ違う文が出ます。ソフトマックスは、「得点」を「選び方の確率」に直すことで、この揺らぎの余地を作っています。次の章では、確率の予測がどれだけ外れているかを測る、交差エントロピーを見ます。
指数関数が選ばれる理由
得点を確率に直すだけなら、他にも方法がありそうです。たとえば、得点を、そのまま合計で割る方法は、得点が負だと、うまくいきません。指数関数を使うと、得点が1違うごとに、確率の比が、一定の倍率で変わる、という扱いやすい性質が得られます。この性質は、微分もしやすく、学習との相性が良いことが、広く使われている理由の一つです。
「確率」の読み方
ソフトマックスの出力は、「合計が1で、0以上」という、確率の約束を満たしています。ただし、それが「本当にそうなる確率」である保証は、ありません。モデルが「90%」と出しても、実際に90%の割合で当たるとは限らないのです。出力が確率の形をしていることと、それが信頼できる確率であることは、別に確かめるべきことです。
