霧の山を、足元だけで下る
登山の経験がある人は、霧に巻かれた下り道の心細さを知っているでしょう。地図は役に立たず、見えるのは数歩先まで。それでも人は、たいてい無事に下ります。足の裏で斜面の向きを感じ、低いほうへ一歩ずつ出ているからです。
AIの「学習」と呼ばれる作業は、驚くほどこの歩き方に似ています。全体の地形、つまり「どの設定が最も正解に近いか」を、コンピュータは最初から知りません。知っているのは、いまの設定で出した答えが、どれだけ間違っているかだけです。その間違いの大きさを標高だと思えば、学習とは、霧の中で谷底を探す旅になります。
標高に当たるもの:損失
この章の例では、点の並びに直線を合わせます。予測と実際の値の差を二乗し、平均したものを損失と呼びます。直線の傾き w を決めると損失が決まるので、損失は w の関数、つまり w という横軸の上に描かれた起伏です。w=0 のとき損失は 30.8、谷の底(w≈2.02)では最小の約 0.071 まで下がります。
山の全体は見えなくても、足元の傾きだけで、下る方向は決められる。
足元の傾きを測る
傾きは、数学では微分で測ります。「w を少し増やしたら、損失はどれだけ変わるか」という割合です。w=0 のとき、この例の傾きは −30.35。マイナスは、w を増やすと損失が減る向きだという意味です。コンピュータは地形を見渡さずに、いまいる地点の傾きだけを計算し、その逆向きに動きます。
歩幅という難問
もう一つ決めることがあります。一歩の大きさです。学習率と呼ばれるこの数が小さすぎれば、谷底に着くまでに日が暮れます。大きすぎると、谷を飛び越えて反対側の斜面に降り、そこでまた飛び越え、行き来がだんだん大きくなって、損失はかえって増えていきます。この例では、学習率が約 0.133 を超えると、そうなります。
面白いのは、この限界が、谷の「急さ」で決まることです。急な谷ほど、小さな歩幅でも飛び越えやすい。実際のAIの学習で、学習率の調整が「職人芸」のように語られるのは、地形が見えないまま歩幅を決めなければならないからです。
模型と本物のあいだ
本物のAIでは、動かす数が何十億という単位になり、地形は一本の谷ではなく、数え切れない次元に広がった起伏になります。それでも、基本の動作は同じです。いまの位置の傾きを計算し、逆向きに少し動く。この単純な繰り返しが、画像を見分けたり、文章を続けたりするAIの学習の中心にあります。
次の章以降で、傾きの計算を効率よく行うしくみや、歩き方の改良を見ていきます。まずは下の図で、学習率を動かして、谷を下る点が収まる様子と、飛び越える様子の両方を確かめてください。
谷底は、一つとは限らない
この章の谷は、きれいな一つのくぼみです。けれど、実際のAIの損失の地形は、もっと複雑で、小さなくぼみがいくつもあるかもしれません。それでも、実際には、傾きをたどる方法で、実用になる結果が得られることが、経験的に知られています。なぜうまくいくのかは、いまも研究が続いている話題で、「完全に分かっている」とは言えません。
「損失が下がる」を、信じすぎない
もう一つ、大事な注意があります。学習に使ったデータでの損失が下がることと、新しいデータで正しく答えられることは、別の話です。損失が0に近づいても、新しいデータで外れるなら、過学習かもしれません。それを確かめる方法を、後の章で見ます。坂を下る、という手順は、あくまで「損失を下げる手段」であって、「正しいAIを作る保証」ではないのです。
