← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱D 正解に近づくAI照合済み

間違いの大きさの測り方で、直線は変わる

「どれだけ外れたか」を、二乗で測るのと、そのまま測るのとで、何が変わるのでしょうか。
イメージ図(AI生成)
この章の答え損失は「何を間違いとみなすか」を数で決めたものです。
必要な数学平均・一次関数・絶対値
目安読むのに約4分、そのあと図をさわります
読みもの

何を「間違い」とみなすかは、選べる

AIの学習は、「損失」と呼ばれる数を小さくする作業だ、と説明されます。ところが、その損失をどう決めるかは、実は、人が選んでいるのです。同じデータでも、損失の選び方で、学習の結果は変わります。

二乗か、絶対値か

予測と実際の差を、二乗して平均する方法(平均二乗誤差)と、絶対値をとって平均する方法(平均絶対誤差)があります。どちらも、ぴったり合えば0で、外れるほど大きくなります。差が1なら、二乗しても1。差が4なら、二乗で16です。

二乗は、大きな外れを強く気にする。絶対値は、それほど気にしない。

1つの点が、直線を引っぱる

この章の例は、5つの点に、原点を通る直線を合わせます。4点は y=2x の近くに並び、右端の1点だけ動かせます。この点を、本来の高さの10から0まで動かすと、二乗誤差で最小の傾き w は、1.995 から 1.085 へと大きく動きます。1つの外れ値に、直線が引っぱられたのです。

一方、絶対誤差で最小の傾きは、10のとき 2.000、0のとき 1.950 で、ほとんど動きません。外れ値に動かされにくい、という性質が、数で見えます。

損失の選択は、価値観の選択

どちらが優れているということではありません。大きな外れを許したくないなら二乗、極端な値に振り回されたくないなら絶対値、というように、目的に合わせて選ぶものです。AIの学習は、決めた損失を小さくすることだけを目指して進みます。だから、「何を間違いとみなすか」の設計が、結果を左右します。

絶対値には、損失のグラフに折れ目ができるという、扱いにくさもあります。坂を下る方法を使うときには、工夫が要ります。

損失は、目的の翻訳

「よいAI」とは何か、という問いに、数学は直接答えてくれません。そこで、人が、「こう間違えたら、これだけ悪い」という基準を、数にして渡します。それが損失です。たとえば、病気の見落としが、誤診より深刻なら、見落としに重い損失をつける、という設計もありえます。損失とは、目的を、計算機が扱える形に、翻訳したものなのです。

滑らかさも、設計の条件

もう一つ、実用上の条件があります。坂を下る方法を使うには、損失が滑らかで、傾きが計算できると、扱いやすくなります。絶対値の損失には、折れ目があるため、そこで傾きが定まりません。その場合は、折れ目を丸めた形の損失を使うなど、扱いやすくする工夫が、よく行われます。損失は、「目的に合っているか」と「計算しやすいか」の、両方から選ばれるのです。

手を動かして確かめる

5つの点に、原点を通る直線 y=w·x を合わせます。4点は直線 y=2x の近くに並び、いちばん右の点だけ動かせます。この点を、本来の高さ(10付近)から、大きく外れた値にしていきます(自作の例です)。

右端の点の高さを下げていくと、青の線(二乗誤差)と橙の線(絶対誤差)の動き方が違うことが分かります。

計算を順に追う

1. 外れ具合の測り方は、選べる

予測と実際の差を、二乗して平均する方法(平均二乗誤差)と、絶対値をとって平均する方法(平均絶対誤差)があります。どちらも、ぴったり合えば0で、外れるほど大きくなります。前の章までは二乗のほうを使っていました。二乗誤差は、回帰(数を予測する問題)で最も一般的な損失の一つです。

平均二乗誤差 = ( (予測₁−実際₁)² + … ) / 個数 平均絶対誤差 = ( |予測₁−実際₁| + … ) / 個数

2. 二乗は、大きな外れを強く気にする

差が1なら二乗しても1、差が4なら16です。大きく外れた点があると、その点の損失が突出して、直線はその点に引っぱられます。右端の点を10から0にすると、二乗誤差で最小の傾き w は 1.995 から 1.085 へと大きく動きます。

3. 絶対値は、外れ値に動かされにくい

差の大きさをそのまま足すので、大きく外れた点の影響は、差に比例するだけです。同じ操作で、絶対誤差で最小の傾きは、10のとき 2.000、0のとき 1.950 で、ほとんど動きません。ただし、損失のグラフに角(折れ目)ができるため、坂を下る方法を使うときは扱いに工夫が要ります。

4. 何を大切にするかが、損失の選択になる

損失は「何を間違いとみなすか」を数で決めたものです。大きな外れを許したくないなら二乗、極端な値に振り回されたくないなら絶対値、というように、目的に合わせて選びます。AIの学習は、決めた損失を小さくする方向に進むので、損失の選び方が結果を左右します。

思い出しメモ 原点を通る直線 y=w·x の場合、二乗誤差が最小になる w は (Σ x·y) / (Σ x²) で求まります。絶対誤差が最小になる w は、y/x の(|x|で重みづけた)中央値です。
ひとことで言うと損失は「何を間違いとみなすか」を数で決めたものです。

今につながる話

予測する量の種類や、データの外れ値の扱いによって、二乗誤差・絶対誤差のほか、両者をつなぐ形の損失などが使い分けられます。ここでは直線1本の最小の例だけを見ています。

なるほど2問

出典と確認状態

ほんとうは…(どちらがよいか)

どちらの損失がよいかは、データの性質と目的で決まり、一般にどちらかが常に優れているとは言えません。この例は、外れ値に対する反応の違いを見せるための小さな模型です。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください