点を全部通る曲線が、いちばん良いとは限らない
手元に6個の点があるとします。それらを全部通る曲線を引けば、「完璧に合っている」と言えそうです。ところが、その曲線は、新しい点が来たとたんに、大きく外れることがあります。これが、過学習と呼ばれる現象です。
本当は、ほぼ直線
この章の例の6点は、本当は、ほぼ直線 y=0.8x+1 の上に並ぶ関係で、そこに測定のばらつきが少し乗っています(自作の例)。この点に、直線から5次の曲線まで、いろいろな曲線を合わせてみます。白抜きの5点は、学習に使わず、あとで当てるための点です。
次数を上げると、自由に曲がる
次数1は直線、次数5は6個の係数をもち、6個の点をすべて通せます。次数を上げるほど、点に近づく自由度が増え、学習に使った点での誤差は、下がり続けます。次数5では、とうとう0になります。
学習に使った点での成績は、よくなる一方。それが落とし穴になる。
使っていない点で、悪くなる
ところが、学習に使わなかった5点での誤差は、次数が低いうちは小さく、次数5で急に大きくなります。曲線が、点のばらつき(ノイズ)まで追いかけて、点と点の間で大きく揺れてしまったからです。
見つけ方と、防ぎ方
過学習を見つけるには、学習に使わないデータでも、誤差を測ります。防ぐ方法には、データを増やす、モデルを単純にする、などがあります。大きなAIでも、学習に使わなかったデータで性能を確かめる、という点は同じです。ただし、実際のAIの過学習は、この例ほど単純ではなく、いまも研究が続いています。
経験則としての「学習・検証・テスト」
過学習を防ぐために、データを3つに分けることが、よく行われます。学習に使う分、設定の調整に使う分(検証)、最後の成績を測る分(テスト)です。テスト用のデータは、学習にも調整にも使わず、最後に一度だけ使うのが、理想です。何度も見てしまうと、無意識に、テストに合わせた調整をしてしまうからです。
「正しく測る」ことの難しさ
実際のAIの評価では、データが、学習用とテスト用とで、似すぎていないかも、問題になります。ほとんど同じデータが、両方に混ざっていると、成績が、実力以上によく見えてしまいます。成績の数字を読むときは、「何を、どう測った数字なのか」を、確かめる姿勢が必要です。
