読みもの
全部を見ずに、一部だけで進む
データが100万件あるとして、坂を1歩下るたびに、100万件すべてを使って傾きを計算していたら、どうなるでしょうか。1歩ごとの計算が、重くなりすぎます。そこで、毎回、データの一部(バッチ)だけを使って、傾きを求める方法が使われます。
全部を使う場合
この章の例は、10個の点に、直線を合わせるものです。10個全部を使うと、1歩の向きは、そのときの w とデータだけで決まり、乱数には左右されません。学習率0.01、30歩で、w は 2.010 に落ち着きます。これは、全データで最もよく合う傾きです。
一部だけを使う場合
毎回、点を1個だけ選ぶと、1歩の計算は10分の1で済みます。ただし、選んだ点が、たまたま直線から外れていると、その点に引っぱられます。この図では、30歩たっても落ち着かず、最後の6歩の w は、2.454、2.305、2.130、1.936、1.953、1.831 と、2.010 の周りを大きく行き来します。
計算は軽くなるが、進む向きは、ぶれる。
バッチの大きさは、調整つまみ
バッチを大きくすれば、ぶれは小さくなりますが、1歩の計算は重くなります。データが膨大なときは、全部を使うのは現実的でないので、小分けにして進めます。この方法は、確率的勾配降下法(SGD)、またはミニバッチ SGD と呼ばれます。
ぶれと学習率
ぶれる設定で学習率を大きくすると、揺れはさらに大きくなり、大きすぎると発散します。この例で、学習率を0.025にすると、バッチ1個の場合は、乱数の種1〜12の12通りのうち最大で、w が 8,970 まで跳ね上がりました。この図の学習率の上限を0.015にしているのは、そのためです。
ぶれは、悪者とは限らない
一部のデータだけで傾きを求めると、向きがぶれます。これは、扱いにくい性質に見えますが、ぶれが、ときに役立つ、とも言われています。ぶれのおかげで、小さなくぼみにはまり込みにくくなる、という見方があるからです。ただし、これは、完全に確立した説明ではなく、研究が続いている話題です。
実務での選び方
実際の学習では、バッチの大きさは、計算機のメモリや速さとも関係して決まります。大きなバッチは、計算機の並列の力をうまく使えますが、1歩の計算が重くなります。小さなバッチは、軽くて速く動けますが、ぶれが大きくなります。この章の「速さとぶれの調整」は、現場でも、実際に悩まれる、設計の選択です。
手を動かして確かめる
10個の点(自作の例)に、直線 y=w·x を合わせます。「坂を下って、正解に近づく」の章では、1歩ごとに、全部の点を使って傾きを求めました。ここでは、毎回、点の一部(バッチ)だけを使って、傾きを求めます。使う点の数を、1個、3個、全部(10個)と変えて、w の動きを比べます。
バッチの大きさを切り替えて、青い線の動き方の違いを見てください。「別の乱数で」を押すと、選ばれる点が変わります。
計算を順に追う
1. 全部を使うと、乱数に左右されない
10個全部を使うと、1歩ごとの向き(傾き)は、そのときの w とデータだけで決まり、乱数には左右されません。学習率0.01、30歩で、w は 2.010 に落ち着きます。全データで最もよく合う傾きは、2.010 です(全部を使う場合は、乱数の種を変えても、結果は変わりません)。
2. 1歩は軽いが、ぶれる
毎回、点を1個だけ選ぶ場合は、1歩の計算が10分の1で済みます。ただし、進みが速いわけではありません。選んだ点が、たまたま直線から外れていると、その点に引っぱられるため、この図では30歩たっても落ち着きません。最後の6歩の w は、2.454、2.305、2.130、1.936、1.953、1.831 と、2.010 を挟んで大きく動きます。
バッチ 1個:…2.454 2.305 2.130 1.936 1.953 1.831
バッチ 3個:…2.021 2.122 2.017 1.928 2.117 1.986
バッチ 10個:…2.010 2.010 2.010 2.010 2.010 2.010
3. バッチの大きさは、速さとぶれの調整
バッチを大きくすると、ぶれは小さくなりますが、1歩の計算は重くなります。データが膨大な場合は、全部を使う計算は現実的でないため、小分けにして進めるのが一般的です。この方法を、確率的勾配降下法(SGD)、またはミニバッチ SGD と呼びます。
4. 学習率との関係
バッチが小さい(ぶれる)場合は、学習率を大きくすると、さらに大きく揺れ、大きすぎると発散します。この例で学習率を0.025にすると、バッチ1個では、乱数の種1〜12の12通りのうち最大で、w が 8,970 まで跳ね上がりました。そのため、この図の学習率の上限は0.015にしています。この図で、学習率を変えて、揺れ方の変化を確かめてください。
思い出しメモ 「確率的」は、毎回、データの一部を、くじ引きのように選ぶことを指します。選び方が変わると、道筋も少し変わります。