← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱G 限界と付き合うAI照合済み

データが少ないと、曲線は暴れる

学習に使ったデータにはぴったり合うモデルが、新しいデータで外れるのは、なぜでしょうか。
イメージ図(AI生成)
この章の答え学習データに合うことと、新しいデータに当たることは別です。
必要な数学平均・グラフの読み方
目安読むのに約4分、そのあと図をさわります
読みもの

点を全部通る曲線が、いちばん良いとは限らない

手元に6個の点があるとします。それらを全部通る曲線を引けば、「完璧に合っている」と言えそうです。ところが、その曲線は、新しい点が来たとたんに、大きく外れることがあります。これが、過学習と呼ばれる現象です。

本当は、ほぼ直線

この章の例の6点は、本当は、ほぼ直線 y=0.8x+1 の上に並ぶ関係で、そこに測定のばらつきが少し乗っています(自作の例)。この点に、直線から5次の曲線まで、いろいろな曲線を合わせてみます。白抜きの5点は、学習に使わず、あとで当てるための点です。

次数を上げると、自由に曲がる

次数1は直線、次数5は6個の係数をもち、6個の点をすべて通せます。次数を上げるほど、点に近づく自由度が増え、学習に使った点での誤差は、下がり続けます。次数5では、とうとう0になります。

学習に使った点での成績は、よくなる一方。それが落とし穴になる。

使っていない点で、悪くなる

ところが、学習に使わなかった5点での誤差は、次数が低いうちは小さく、次数5で急に大きくなります。曲線が、点のばらつき(ノイズ)まで追いかけて、点と点の間で大きく揺れてしまったからです。

見つけ方と、防ぎ方

過学習を見つけるには、学習に使わないデータでも、誤差を測ります。防ぐ方法には、データを増やす、モデルを単純にする、などがあります。大きなAIでも、学習に使わなかったデータで性能を確かめる、という点は同じです。ただし、実際のAIの過学習は、この例ほど単純ではなく、いまも研究が続いています。

経験則としての「学習・検証・テスト」

過学習を防ぐために、データを3つに分けることが、よく行われます。学習に使う分、設定の調整に使う分(検証)、最後の成績を測る分(テスト)です。テスト用のデータは、学習にも調整にも使わず、最後に一度だけ使うのが、理想です。何度も見てしまうと、無意識に、テストに合わせた調整をしてしまうからです。

「正しく測る」ことの難しさ

実際のAIの評価では、データが、学習用とテスト用とで、似すぎていないかも、問題になります。ほとんど同じデータが、両方に混ざっていると、成績が、実力以上によく見えてしまいます。成績の数字を読むときは、「何を、どう測った数字なのか」を、確かめる姿勢が必要です。

手を動かして確かめる

6個の点があります(自作の例です)。本当は、ほぼ直線 y=0.8x+1 の上に並ぶ関係で、そこに測定のばらつきが少し乗っています。この6点に、直線から5次の曲線まで、いろいろな曲線を合わせてみます。白抜きの5点は、学習に使わず、あとで当てるための点です。

次数を1から5まで動かして、2つの誤差がどう変わるかを見てください。

計算を順に追う

1. 次数を上げると、曲線は自由に曲がる

曲線は y=a₀+a₁x+a₂x²+… の形で、x の最高のべきが次数です。次数1は直線、次数5は6個の係数をもち、6個の点をすべて通せます。係数は、点との誤差の二乗の平均が最小になるように決めます(最小二乗法)。次数が大きいほど、点に近づく自由度が増えます。

2. 学習に使った点の誤差は、下がり続ける

学習に使った6点での誤差(平均二乗誤差)は、次数を上げるほど小さくなり、次数5では0になります。点をすべて通るからです。

次数1: 0.291 次数2: 0.286 次数3: 0.176 次数4: 0.159 次数5: 0.000

3. 使っていない点では、悪くなる

学習に使わなかった5点での誤差は、次数が低いうちは小さく、次数5で急に大きくなります。曲線が、点のばらつきまで追いかけて、点と点の間で大きく揺れたためです。

次数1: 0.043 次数2: 0.048 次数3: 0.090 次数4: 0.135 次数5: 1.120

4. これが過学習

学習に使ったデータのばらつき(ノイズ)まで合わせてしまい、新しいデータに外れることを過学習といいます。見つけるには、学習に使わないデータでも誤差を測ります。防ぐ方法には、データを増やす、モデルを単純にする、などがあります。

思い出しメモ 平均二乗誤差は、予測と実際の差を二乗して平均したものです。損失の章で使ったものと同じです。
ひとことで言うと学習データに合うことと、新しいデータに当たることは別です。

今につながる話

大きなAIでも、学習に使わなかったデータで性能を確かめる点は同じです。ただし、実際のAIの過学習や汎化は、この例ほど単純ではなく、研究が続いています。この章の例は、曲線の次数という一つの調整つまみだけを動かした、最小の模型です。

なるほど2問

出典と確認状態

ほんとうは…(この例の限界)

この例の点は6個と少なく、曲線の次数も1つの調整つまみにすぎません。実際のAIでは、動かす数がデータより多い場合でも、単純に過学習するとは限らないことが研究されています。ここでは基本の形だけを見ています。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください