細長い谷を、どう下るか
前の章までの「坂を下る」は、傾きだけを頼りに、一歩ずつ進む方法でした。ところが、谷の形が、片方向には急で、もう片方向にはゆるやかな、細長い形をしていると、この方法は、とたんに不器用になります。
急な向きに合わせると、遅くなる
この章の谷は、縦(y)にとても急で、横(x)にはゆるやかです。学習率を大きくすると、急な縦方向で行き過ぎて、発散してしまいます。この谷では、学習率が 0.02 を超えると不安定になり、0.021 では損失が 4.6×10⁶ にまで増えました。だから、0.019 のような小さな値にせざるをえず、ゆるやかな横方向には、なかなか進めません。60歩たっても、損失は 0.801 です。
急な向きに歩幅を合わせるせいで、ゆるやかな向きが進まない。
勢いをつける:モメンタム
改良の一つは、前の進みの勢いの一部を引き継ぐことです。ゆるやかな横方向では、同じ向きの進みが積み重なって加速し、縦方向では、向きが交互に変わって、打ち消し合います。この谷では、60歩で損失が 0.128 まで下がりました。
方向ごとに、歩幅を調整する:Adam
もう一つは、方向ごとに、傾きの大きさの目安を記録して、それで割ってから進む方法です。傾きが −4 の方向でも 100 の方向でも、最初の1歩の幅は、約 0.3 にそろいます。この谷では、60歩で損失が 0.00925 まで下がりました。
順位は、問題で変わる
ただし、この比較は、1つの谷の形と、人が選んだ学習率での結果です。学習率を変えれば、順位は変わります。実際のAIの学習では、Adam 系の方法が広く使われますが、問題によっては、別の方法が選ばれます。「万能の下り方」はなく、地形に合わせた歩き方を選ぶ、ということです。
谷の形が、歩き方を決める
この章の谷は、縦に急で、横にゆるやか、という、極端な形でした。けれど、現実の損失の地形にも、方向によって、傾きの度合いが大きく違う場面は、よくあります。そんな地形で、単純な方法は、急な方向に歩幅を合わせるため、ゆるやかな方向が進みません。改良版の方法は、この「方向による差」を、うまく扱うための工夫なのです。
設定は、人が選ぶ
もう一つ、忘れてはならないのは、学習率などの設定は、人が選んでいる、ということです。この章でも、各方法に、人が決めた学習率を使っています。設定を変えれば、順位も変わりえます。「改良版だから、必ず速い」とは限らず、設定の選び方が、結果を大きく左右します。AIの学習が「調整の技術」と言われるのは、このためです。
