何を「間違い」とみなすかは、選べる
AIの学習は、「損失」と呼ばれる数を小さくする作業だ、と説明されます。ところが、その損失をどう決めるかは、実は、人が選んでいるのです。同じデータでも、損失の選び方で、学習の結果は変わります。
二乗か、絶対値か
予測と実際の差を、二乗して平均する方法(平均二乗誤差)と、絶対値をとって平均する方法(平均絶対誤差)があります。どちらも、ぴったり合えば0で、外れるほど大きくなります。差が1なら、二乗しても1。差が4なら、二乗で16です。
二乗は、大きな外れを強く気にする。絶対値は、それほど気にしない。
1つの点が、直線を引っぱる
この章の例は、5つの点に、原点を通る直線を合わせます。4点は y=2x の近くに並び、右端の1点だけ動かせます。この点を、本来の高さの10から0まで動かすと、二乗誤差で最小の傾き w は、1.995 から 1.085 へと大きく動きます。1つの外れ値に、直線が引っぱられたのです。
一方、絶対誤差で最小の傾きは、10のとき 2.000、0のとき 1.950 で、ほとんど動きません。外れ値に動かされにくい、という性質が、数で見えます。
損失の選択は、価値観の選択
どちらが優れているということではありません。大きな外れを許したくないなら二乗、極端な値に振り回されたくないなら絶対値、というように、目的に合わせて選ぶものです。AIの学習は、決めた損失を小さくすることだけを目指して進みます。だから、「何を間違いとみなすか」の設計が、結果を左右します。
絶対値には、損失のグラフに折れ目ができるという、扱いにくさもあります。坂を下る方法を使うときには、工夫が要ります。
損失は、目的の翻訳
「よいAI」とは何か、という問いに、数学は直接答えてくれません。そこで、人が、「こう間違えたら、これだけ悪い」という基準を、数にして渡します。それが損失です。たとえば、病気の見落としが、誤診より深刻なら、見落としに重い損失をつける、という設計もありえます。損失とは、目的を、計算機が扱える形に、翻訳したものなのです。
滑らかさも、設計の条件
もう一つ、実用上の条件があります。坂を下る方法を使うには、損失が滑らかで、傾きが計算できると、扱いやすくなります。絶対値の損失には、折れ目があるため、そこで傾きが定まりません。その場合は、折れ目を丸めた形の損失を使うなど、扱いやすくする工夫が、よく行われます。損失は、「目的に合っているか」と「計算しやすいか」の、両方から選ばれるのです。
