← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

小さな網に、図形を学習させる

25個の数(5×5のマス)を受け取るニューロンは、学習で何を見るようになるのでしょうか。
イメージ図(AI生成)
この章の答えこの小さな模型では、重みの図を見れば、小さな網が何を手がかりにしているか分かります。
必要な数学前の章(ニューロン・坂を下る)
目安読むのに約5分、そのあと図をさわります
読みもの

図形を見分ける網を、その場で育てる

ここまでは、重みを人が決めたり、少ない数を調整したりしてきました。この章では、いよいよ、学習によって重みが決まっていく様子を見ます。題材は、5×5マスの白黒の絵で、「十字」と「枠」を見分けることです。

25個の入力に、25個の重み

各マスの明るさ(0か1)に、重みをかけて足し、バイアスを加え、シグモイド関数で0〜1の値にします。1に近ければ「枠」、0に近ければ「十字」という答えです。1個のニューロンの形と同じで、入力が2個から25個に増えただけです。

損失を下げる方向に、動かす

学習では、2択の場合によく使われる損失(交差エントロピー)を使います。25個の重みと1個のバイアス、計26個の全部について、損失の傾きを求め、少しだけ逆向きに動かす。これを繰り返します。「坂を下る」の章と同じ方法で、動かす数が26個になっただけです。

網が何を手がかりにしているかは、重みを見ると分かる。

重みの図に、見ているものが現れる

学習を進めると、十字だけにあるマスの重みは青(十字らしい)に、枠だけにあるマスの重みは橙(枠らしい)になります。人が「ここを見なさい」と教えたわけではないのに、見分けに役立つマスの重みが、学習で大きくなったのです。

別の絵で確かめる

学習用の30枚では、歩数とともに損失が下がり続けます。けれど、大事なのは、学習に使っていない200枚での成績です。正解率は、50歩で 99.0%、200歩でも 99.0%、2000歩では 97.5% でした。この差は200枚中3枚で、乱数の種を変えれば変わりうるので、傾向とは言い切れません。それでも、学習に使わなかった絵で確かめる、という習慣が大切です。

手書き文字のような公開データではなく自作のデータを使ったのは、利用条件を気にせず、このページだけで完結させるためです。

学習の途中を、観察する

学習の様子を、歩数ごとに見ると、面白いことが分かります。最初の数十歩で、損失は急に下がり、そのあとは、ゆっくりとしか変わりません。重みの図も、最初はほぼ無色で、少しずつ、十字らしさ、枠らしさの模様が現れてきます。「学習する」とは、初期値から出発した数が、データに合わせて、整っていく過程なのです。

少ないデータの限界

この章の学習データは、30枚だけです。それでも、十字と枠くらい単純な違いなら、見分けられるようになります。けれど、もっと複雑な違いを見分けるには、より多くのデータや、より高い表現力が必要になる場合があります。必要な量は、問題の複雑さのほか、データの質や事前の知識にも左右される、という感覚は、AIを使うときの、よい目安になります。

手を動かして確かめる

5×5マスの白黒の絵で、「十字」と「枠」を見分けさせます。各マスは20%の確率で白黒が反転するノイズ入りです。学習に使う絵は30枚、評価に使う別の絵は200枚で、どちらも自作のデータです。手書き文字のような公開データではなく自作したのは、利用条件を気にせずに、このページだけで完結させるためです。

「10歩」「200歩」で学習を進めてください。右の図は、25マスそれぞれの重みの色です。

計算を順に追う

1. 25個の入力に、25個の重み

各マスの明るさ(0か1)に重みをかけて足し、バイアスを加えて、シグモイド関数で0〜1の値にします。1に近ければ「枠」、0に近ければ「十字」という答えです。前に見た1個のニューロンと同じ形で、入力が2個から25個に増えただけです。

2. 損失を小さくする方向へ、重みを動かす

ここでは、答えが2択の場合によく使われる損失(交差エントロピー)を使います。全部の重みとバイアスについて、損失の傾きを求め、少しだけ逆向きに動かす操作を繰り返します。前の「坂を下る」と同じ方法で、動かす数が26個になっただけです。

1歩:重み ← 重み − 学習率 × 損失の傾き(26個すべてに同じ操作)

3. 重みの図に、見ているものが現れる

学習を進めると、十字だけにあるマス(中央の縦横の線のうち、端の4マスを除いた部分)の重みは青(十字らしい)になり、枠だけにあるマスの重みは橙(枠らしい)になります。重みを見れば、網がどこを手がかりにしているかが分かります。

4. 学習用と別の絵で確かめる

学習の歩数ごとの結果は、次のとおりです。学習用の損失は歩数とともに下がり続けます。別の絵での正解率は、50歩で 99.0%、200歩でも 99.0% で、2000歩では 97.5% でした。この差は200枚中3枚で、種を変えれば変わりうるため、傾向として断定はできません。ここでも、学習に使わなかった絵で確かめる点が大切です。

歩数 0:損失 0.693(自然対数。ln 2)、別の絵 50.0% 歩数 10:損失 0.457、別の絵 98.5% 歩数 50:損失 0.190、別の絵 99.0% 歩数 200:損失 0.067、別の絵 99.0% 歩数 2000:損失 0.009、別の絵 97.5%
思い出しメモ シグモイド関数は、どんな数でも0から1の間に押し込む関数でした。0.5より大きければ「1」、小さければ「0」と読みます。
ひとことで言うとこの小さな模型では、重みの図を見れば、小さな網が何を手がかりにしているか分かります。

今につながる話

画像を扱うAIは、ここで見た「重みを少しずつ動かして損失を下げる」方法を、はるかに多い重みと層に広げたものが基本です。ただし、本物は位置関係を使う作りなど、ここにはない工夫を多く含みます。

前に読むと楽な章

なるほど2問

出典と確認状態

ほんとうは…(この章の網と現実のAI)

この章は、1個のニューロンだけで、2種類の図形を分けられる、きれいな条件の例です。実際の画像のAIは、層を重ね、近くのマスの関係を使うなどして、より複雑な問題を扱います。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください