← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱D 正解に近づくAI照合済み

直線を当てはめる:最小二乗法

ばらつく点の列に、「いちばんよく合う直線」を引くとは、どういうことなのでしょうか。
イメージ図(AI生成)
この章の答え最小二乗法は、残差の二乗の合計が最小になる直線を、式で求める方法です。
必要な数学一次関数・平均・二乗
目安読むのに約4分、そのあと図をさわります
読みもの

「いちばんよく合う直線」を、数で決める

散らばった点に、1本の直線を引いてみてください。目分量でも、それらしい線は引けます。ところが、「どちらの線のほうがよく合っているか」と聞かれると、困ります。見た目の好みでなく、数で答えるには、「外れ具合」のものさしが要ります。

正方形の面積で測る

各点と直線との縦の差を残差と呼びます。この残差を一辺とする正方形を、点ごとに描き、その面積の合計を考えます。この合計が最も小さい直線を、「いちばんよく合う」と決める。これが最小二乗法の考え方です。

外れ具合を、正方形の面積の合計で測り、それが最小の線を選ぶ。

なぜ二乗なのか

差をそのまま足すと、点が線の上にあるものと下にあるものとで、プラスとマイナスが打ち消し合ってしまいます。二乗にすれば、すべて0以上になり、さらに、大きく外れた点ほど強く効きます。この例の最初の設定(a=0、b=1)では、点が線より上にずれていて、二乗和は 6.700 です。

式で、一気に解ける

うれしいことに、この二乗和を最小にする直線は、平均を使った式で、一気に求まります。この例では、傾き b=1.0686、切片 a=0.7933 で、二乗和は 0.211 まで下がります。しかも、この直線は、点の重心(x の平均、y の平均)を、必ず通ります。

坂を下る方法との関係

このあと見る「坂を下る」方法は、同じ種類の損失を、1歩ずつ傾きをたどって小さくします。式で解ける場合でも、データや重みが膨大になると、坂を下る方法のほうが現実的になります。ニューラルネットの学習では、当てはめる式がずっと複雑で、解の式がないため、傾きをたどる方法が使われます。

なお、二乗和は、数ある外れ具合の測り方の一つにすぎません。次の章で、別の測り方に変えると、何が変わるかを見ます。

外れ値に、どう影響されるか

最小二乗法は、便利な方法ですが、外れ値に敏感です。二乗するため、1つだけ大きく外れた点があると、その点の影響が強くなり、直線は、その点のほうへ引っぱられます。次の章で、この性質を、実際に動かして確かめます。データに、明らかな間違いが混ざっていないかを、先に点検することは、AIでも統計でも、大切な作業です。

「直線」から広げる

この章の考え方は、直線に限りません。点に当てはめる式が、曲線でも、もっと多くの変数をもつ式でも、「外れ具合の二乗の合計を最小にする」という方針は、同じように使えます。過学習の章では、次数の高い曲線を同じ方法で当てはめ、そこで起こる問題を見ます。最小二乗法は、AIの学習の、いちばん基本の型だと言えます。

手を動かして確かめる

6個の点(自作の例)に、直線 y=a+b·x を引きます。目分量でも引けますが、「よく合う」を数で言うには、外れ具合のものさしが要ります。各点と直線の縦の差(残差)を一辺とする正方形を考え、その面積の合計が最小になる直線を、「いちばんよく合う」とします。

切片 a と傾き b を動かして、正方形の面積の合計(残差の二乗和)を小さくしてみてください。「最小二乗の解にする」で、最小になる直線に飛びます。

計算を順に追う

1. 外れ具合を、二乗の合計で測る

各点の残差 eᵢ=(実際の値)−(直線の値)を二乗して合計したものが、残差の二乗和です。最初の設定(a=0、b=1)では 6.700 で、点が直線より上にずれているため大きくなります。二乗にするのは、プラスとマイナスが打ち消し合わず、大きな外れを強く気にするためです。

S(a, b) = Σ ( a + b·xᵢ − yᵢ )²

2. 最小になる a と b は、式で求まる

S を最小にする a、b は、平均を使った式で求まります。この例では、b=1.0686、a=0.7933 で、そのときの二乗和は 0.211 です。傾きを少しでも変えると、二乗和は増えます。

b = Σ (xᵢ−x̄)(yᵢ−ȳ) / Σ (xᵢ−x̄)² a = ȳ − b·x̄ この例:b = 1.0686、a = 0.7933、S = 0.211

3. このあと見る『坂を下る』は、同じ種類の損失を、別の道で小さくする方法

この式は、S の傾きが0になる点を、一気に解いたものです。このあとの「坂を下って、正解に近づく」の章では、同じ種類の損失(二乗の平均)を、1歩ずつ傾きをたどって小さくします(そこでの例は、切片のない y=w·x です)。式で解ける場合でも、データや重みが膨大になると、坂を下る方法のほうが現実的になります。

4. 二乗和以外の測り方もある

外れ値に強い絶対誤差など、別の損失もあります(次の「間違いの大きさの測り方」の章)。どれを使うかで、「いちばんよく合う」の意味が変わります。

思い出しメモ 平均 x̄ は、x の値を全部足して個数で割ったものです。この式で、直線は必ず点 (x̄, ȳ)(点の重心)を通ります。
ひとことで言うと最小二乗法は、残差の二乗の合計が最小になる直線を、式で求める方法です。

今につながる話

データに数式を当てはめる、という考え方は、AIの学習の原型です。ニューラルネットの学習は、当てはめる式がずっと複雑で、解の式がないため、傾きをたどって少しずつ近づけます。

なるほど2問

出典と確認状態

ほんとうは…(歴史について)

最小二乗法の由来は、19世紀初めの数学者たちにさかのぼると言われますが、この教材では、原典を確かめていないため、年や人名は載せません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください