「いちばんよく合う直線」を、数で決める
散らばった点に、1本の直線を引いてみてください。目分量でも、それらしい線は引けます。ところが、「どちらの線のほうがよく合っているか」と聞かれると、困ります。見た目の好みでなく、数で答えるには、「外れ具合」のものさしが要ります。
正方形の面積で測る
各点と直線との縦の差を残差と呼びます。この残差を一辺とする正方形を、点ごとに描き、その面積の合計を考えます。この合計が最も小さい直線を、「いちばんよく合う」と決める。これが最小二乗法の考え方です。
外れ具合を、正方形の面積の合計で測り、それが最小の線を選ぶ。
なぜ二乗なのか
差をそのまま足すと、点が線の上にあるものと下にあるものとで、プラスとマイナスが打ち消し合ってしまいます。二乗にすれば、すべて0以上になり、さらに、大きく外れた点ほど強く効きます。この例の最初の設定(a=0、b=1)では、点が線より上にずれていて、二乗和は 6.700 です。
式で、一気に解ける
うれしいことに、この二乗和を最小にする直線は、平均を使った式で、一気に求まります。この例では、傾き b=1.0686、切片 a=0.7933 で、二乗和は 0.211 まで下がります。しかも、この直線は、点の重心(x の平均、y の平均)を、必ず通ります。
坂を下る方法との関係
このあと見る「坂を下る」方法は、同じ種類の損失を、1歩ずつ傾きをたどって小さくします。式で解ける場合でも、データや重みが膨大になると、坂を下る方法のほうが現実的になります。ニューラルネットの学習では、当てはめる式がずっと複雑で、解の式がないため、傾きをたどる方法が使われます。
なお、二乗和は、数ある外れ具合の測り方の一つにすぎません。次の章で、別の測り方に変えると、何が変わるかを見ます。
外れ値に、どう影響されるか
最小二乗法は、便利な方法ですが、外れ値に敏感です。二乗するため、1つだけ大きく外れた点があると、その点の影響が強くなり、直線は、その点のほうへ引っぱられます。次の章で、この性質を、実際に動かして確かめます。データに、明らかな間違いが混ざっていないかを、先に点検することは、AIでも統計でも、大切な作業です。
「直線」から広げる
この章の考え方は、直線に限りません。点に当てはめる式が、曲線でも、もっと多くの変数をもつ式でも、「外れ具合の二乗の合計を最小にする」という方針は、同じように使えます。過学習の章では、次数の高い曲線を同じ方法で当てはめ、そこで起こる問題を見ます。最小二乗法は、AIの学習の、いちばん基本の型だと言えます。
