← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱D 正解に近づくAI照合済み

坂を下って、正解に近づく

AIの「学習」とは、数のどこを、どう変えることなのでしょうか。
イメージ図(AI生成)
この章の答えここで見た学習は、損失が減る向きに数を少しずつ動かすことです。
必要な数学一次関数・平均・微分の入口
目安読むのに約5分、そのあと図をさわります
読みもの

霧の山を、足元だけで下る

登山の経験がある人は、霧に巻かれた下り道の心細さを知っているでしょう。地図は役に立たず、見えるのは数歩先まで。それでも人は、たいてい無事に下ります。足の裏で斜面の向きを感じ、低いほうへ一歩ずつ出ているからです。

AIの「学習」と呼ばれる作業は、驚くほどこの歩き方に似ています。全体の地形、つまり「どの設定が最も正解に近いか」を、コンピュータは最初から知りません。知っているのは、いまの設定で出した答えが、どれだけ間違っているかだけです。その間違いの大きさを標高だと思えば、学習とは、霧の中で谷底を探す旅になります。

標高に当たるもの:損失

この章の例では、点の並びに直線を合わせます。予測と実際の値の差を二乗し、平均したものを損失と呼びます。直線の傾き w を決めると損失が決まるので、損失は w の関数、つまり w という横軸の上に描かれた起伏です。w=0 のとき損失は 30.8、谷の底(w≈2.02)では最小の約 0.071 まで下がります。

山の全体は見えなくても、足元の傾きだけで、下る方向は決められる。

足元の傾きを測る

傾きは、数学では微分で測ります。「w を少し増やしたら、損失はどれだけ変わるか」という割合です。w=0 のとき、この例の傾きは −30.35。マイナスは、w を増やすと損失が減る向きだという意味です。コンピュータは地形を見渡さずに、いまいる地点の傾きだけを計算し、その逆向きに動きます。

歩幅という難問

もう一つ決めることがあります。一歩の大きさです。学習率と呼ばれるこの数が小さすぎれば、谷底に着くまでに日が暮れます。大きすぎると、谷を飛び越えて反対側の斜面に降り、そこでまた飛び越え、行き来がだんだん大きくなって、損失はかえって増えていきます。この例では、学習率が約 0.133 を超えると、そうなります。

面白いのは、この限界が、谷の「急さ」で決まることです。急な谷ほど、小さな歩幅でも飛び越えやすい。実際のAIの学習で、学習率の調整が「職人芸」のように語られるのは、地形が見えないまま歩幅を決めなければならないからです。

模型と本物のあいだ

本物のAIでは、動かす数が何十億という単位になり、地形は一本の谷ではなく、数え切れない次元に広がった起伏になります。それでも、基本の動作は同じです。いまの位置の傾きを計算し、逆向きに少し動く。この単純な繰り返しが、画像を見分けたり、文章を続けたりするAIの学習の中心にあります。

次の章以降で、傾きの計算を効率よく行うしくみや、歩き方の改良を見ていきます。まずは下の図で、学習率を動かして、谷を下る点が収まる様子と、飛び越える様子の両方を確かめてください。

谷底は、一つとは限らない

この章の谷は、きれいな一つのくぼみです。けれど、実際のAIの損失の地形は、もっと複雑で、小さなくぼみがいくつもあるかもしれません。それでも、実際には、傾きをたどる方法で、実用になる結果が得られることが、経験的に知られています。なぜうまくいくのかは、いまも研究が続いている話題で、「完全に分かっている」とは言えません。

「損失が下がる」を、信じすぎない

もう一つ、大事な注意があります。学習に使ったデータでの損失が下がることと、新しいデータで正しく答えられることは、別の話です。損失が0に近づいても、新しいデータで外れるなら、過学習かもしれません。それを確かめる方法を、後の章で見ます。坂を下る、という手順は、あくまで「損失を下げる手段」であって、「正しいAIを作る保証」ではないのです。

手を動かして確かめる

霧の中で山の谷底を目指すとします。全体は見えませんが、足元の傾きは分かります。下り坂の方向へ少しずつ進めば、谷底に近づけます。AIの学習の基本も、これとよく似ています。ここでは、点の並びに直線 y=w·x を合わせるという、いちばん小さな例で試します。

最初の設定では、「1歩」を押すたびに w が少しずつ動いて損失が小さくなります。学習率を大きくして、どうなるかも見てください。

計算を順に追う

1. 間違いの大きさを、1つの数にする

直線 y=w·x の予測と実際の値の差を二乗して、平均したものを損失と呼びます。差が大きいほど損失は大きく、ぴったりなら0です。w を決めれば損失が決まるので、損失は w の関数になります。

損失 L(w) = ( (w·1−2.3)² + (w·2−3.8)² + (w·3−6.4)² + (w·4−7.9)² ) / 4

2. 傾きを調べる

いまの w で、w を少し変えたとき、損失が変わる割合が傾き(微分、勾配)です。傾きが正なら w を増やすと損失が増える向きなので、w を減らします。負なら逆に増やします。この例では、傾きは次の式で計算できます。

L'(w) = 2·( 1·(w·1−2.3) + 2·(w·2−3.8) + 3·(w·3−6.4) + 4·(w·4−7.9) ) / 4

3. 傾きと逆向きに、少しだけ動く

新しい w は、いまの w から「学習率×傾き」を引いて決めます。これを繰り返します。この例では、w が0のとき傾きは −30.35 です。学習率 0.03 なら、w は 0 から約 0.91 に動き、損失は 30.8 から 9.4 に下がります。

w ← w − (学習率) × L'(w) 0 − 0.03×(−30.35) = 0.9105

4. 1歩が大きすぎると、行きすぎる

この例では、学習率が約 0.133(=2÷15)を超えると、1歩ごとに谷を飛び越えて、行き来が大きくなり、損失は逆に増えていきます。学習率を0.14にして試してみてください。小さすぎれば、進みが遅くなります。ちょうどよい大きさを探すことが、実際の学習でも重要です。

思い出しメモ 微分は、グラフの接線の傾きを求める計算です。ここでは、傾きが分かればどちらへ動けばよいかが分かる、という点だけ使います。
ひとことで言うとここで見た学習は、損失が減る向きに数を少しずつ動かすことです。

今につながる話

大きなAIでは、動かす数が非常に多くなりますが、考え方は同じです。損失の傾きを計算し、傾きと逆向きに数を少し動かします。実際には、傾きの計算を効率よく行う方法や、動かし方を工夫した改良版の方法が使われます。これは、仕組みを見るための最小の模型です。

つながり(ほかのシリーズ)

なるほど2問

出典と確認状態

ほんとうは…(損失の形)

この例の損失は谷が1つだけのなめらかな形なので、学習率が 0 より大きく 2/15 より小さければ、傾きをたどって谷底に近づいていきます(一般には、有限の歩数でぴったり着くとは限りません)。実際のAIの損失は、動かす数が非常に多く、谷の形も複雑です。そのため、谷底に着く保証はなく、「十分によい場所」を探していると言えます。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください