← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱D 正解に近づくAI照合済み

データを小分けにして、坂を下る

データが何百万件もあるとき、毎回、全部を使って、1歩ずつ進むのでしょうか。
イメージ図(AI生成)
この章の答えデータを小分けにすると、1歩は軽くなりますが、向きがぶれます。
必要な数学坂を下る章(傾き・平均)
目安読むのに約4分、そのあと図をさわります
読みもの

全部を見ずに、一部だけで進む

データが100万件あるとして、坂を1歩下るたびに、100万件すべてを使って傾きを計算していたら、どうなるでしょうか。1歩ごとの計算が、重くなりすぎます。そこで、毎回、データの一部(バッチ)だけを使って、傾きを求める方法が使われます。

全部を使う場合

この章の例は、10個の点に、直線を合わせるものです。10個全部を使うと、1歩の向きは、そのときの w とデータだけで決まり、乱数には左右されません。学習率0.01、30歩で、w は 2.010 に落ち着きます。これは、全データで最もよく合う傾きです。

一部だけを使う場合

毎回、点を1個だけ選ぶと、1歩の計算は10分の1で済みます。ただし、選んだ点が、たまたま直線から外れていると、その点に引っぱられます。この図では、30歩たっても落ち着かず、最後の6歩の w は、2.454、2.305、2.130、1.936、1.953、1.831 と、2.010 の周りを大きく行き来します。

計算は軽くなるが、進む向きは、ぶれる。

バッチの大きさは、調整つまみ

バッチを大きくすれば、ぶれは小さくなりますが、1歩の計算は重くなります。データが膨大なときは、全部を使うのは現実的でないので、小分けにして進めます。この方法は、確率的勾配降下法(SGD)、またはミニバッチ SGD と呼ばれます。

ぶれと学習率

ぶれる設定で学習率を大きくすると、揺れはさらに大きくなり、大きすぎると発散します。この例で、学習率を0.025にすると、バッチ1個の場合は、乱数の種1〜12の12通りのうち最大で、w が 8,970 まで跳ね上がりました。この図の学習率の上限を0.015にしているのは、そのためです。

ぶれは、悪者とは限らない

一部のデータだけで傾きを求めると、向きがぶれます。これは、扱いにくい性質に見えますが、ぶれが、ときに役立つ、とも言われています。ぶれのおかげで、小さなくぼみにはまり込みにくくなる、という見方があるからです。ただし、これは、完全に確立した説明ではなく、研究が続いている話題です。

実務での選び方

実際の学習では、バッチの大きさは、計算機のメモリや速さとも関係して決まります。大きなバッチは、計算機の並列の力をうまく使えますが、1歩の計算が重くなります。小さなバッチは、軽くて速く動けますが、ぶれが大きくなります。この章の「速さとぶれの調整」は、現場でも、実際に悩まれる、設計の選択です。

手を動かして確かめる

10個の点(自作の例)に、直線 y=w·x を合わせます。「坂を下って、正解に近づく」の章では、1歩ごとに、全部の点を使って傾きを求めました。ここでは、毎回、点の一部(バッチ)だけを使って、傾きを求めます。使う点の数を、1個、3個、全部(10個)と変えて、w の動きを比べます。

バッチの大きさを切り替えて、青い線の動き方の違いを見てください。「別の乱数で」を押すと、選ばれる点が変わります。

計算を順に追う

1. 全部を使うと、乱数に左右されない

10個全部を使うと、1歩ごとの向き(傾き)は、そのときの w とデータだけで決まり、乱数には左右されません。学習率0.01、30歩で、w は 2.010 に落ち着きます。全データで最もよく合う傾きは、2.010 です(全部を使う場合は、乱数の種を変えても、結果は変わりません)。

2. 1歩は軽いが、ぶれる

毎回、点を1個だけ選ぶ場合は、1歩の計算が10分の1で済みます。ただし、進みが速いわけではありません。選んだ点が、たまたま直線から外れていると、その点に引っぱられるため、この図では30歩たっても落ち着きません。最後の6歩の w は、2.454、2.305、2.130、1.936、1.953、1.831 と、2.010 を挟んで大きく動きます。

バッチ 1個:…2.454 2.305 2.130 1.936 1.953 1.831 バッチ 3個:…2.021 2.122 2.017 1.928 2.117 1.986 バッチ 10個:…2.010 2.010 2.010 2.010 2.010 2.010

3. バッチの大きさは、速さとぶれの調整

バッチを大きくすると、ぶれは小さくなりますが、1歩の計算は重くなります。データが膨大な場合は、全部を使う計算は現実的でないため、小分けにして進めるのが一般的です。この方法を、確率的勾配降下法(SGD)、またはミニバッチ SGD と呼びます。

4. 学習率との関係

バッチが小さい(ぶれる)場合は、学習率を大きくすると、さらに大きく揺れ、大きすぎると発散します。この例で学習率を0.025にすると、バッチ1個では、乱数の種1〜12の12通りのうち最大で、w が 8,970 まで跳ね上がりました。そのため、この図の学習率の上限は0.015にしています。この図で、学習率を変えて、揺れ方の変化を確かめてください。

思い出しメモ 「確率的」は、毎回、データの一部を、くじ引きのように選ぶことを指します。選び方が変わると、道筋も少し変わります。
ひとことで言うとデータを小分けにすると、1歩は軽くなりますが、向きがぶれます。

今につながる話

今の大きなAIの学習は、小分けにしたデータで、重みを少しずつ動かす方法が基本です。バッチの大きさ・学習率・学習率の下げ方は、学習の速さと安定性を左右する調整つまみとして、広く扱われています。

なるほど2問

出典と確認状態

ほんとうは…(ぶれの意味)

この例は、傾き1つだけを動かす、最小の模型です。実際の学習は、重みが多数あり、データも膨大なので、この例のようにきれいには進みません。ここでは、「小分けにすると、1歩は軽いが、ぶれる」という基本の形だけを見せています。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください