図形を見分ける網を、その場で育てる
ここまでは、重みを人が決めたり、少ない数を調整したりしてきました。この章では、いよいよ、学習によって重みが決まっていく様子を見ます。題材は、5×5マスの白黒の絵で、「十字」と「枠」を見分けることです。
25個の入力に、25個の重み
各マスの明るさ(0か1)に、重みをかけて足し、バイアスを加え、シグモイド関数で0〜1の値にします。1に近ければ「枠」、0に近ければ「十字」という答えです。1個のニューロンの形と同じで、入力が2個から25個に増えただけです。
損失を下げる方向に、動かす
学習では、2択の場合によく使われる損失(交差エントロピー)を使います。25個の重みと1個のバイアス、計26個の全部について、損失の傾きを求め、少しだけ逆向きに動かす。これを繰り返します。「坂を下る」の章と同じ方法で、動かす数が26個になっただけです。
網が何を手がかりにしているかは、重みを見ると分かる。
重みの図に、見ているものが現れる
学習を進めると、十字だけにあるマスの重みは青(十字らしい)に、枠だけにあるマスの重みは橙(枠らしい)になります。人が「ここを見なさい」と教えたわけではないのに、見分けに役立つマスの重みが、学習で大きくなったのです。
別の絵で確かめる
学習用の30枚では、歩数とともに損失が下がり続けます。けれど、大事なのは、学習に使っていない200枚での成績です。正解率は、50歩で 99.0%、200歩でも 99.0%、2000歩では 97.5% でした。この差は200枚中3枚で、乱数の種を変えれば変わりうるので、傾向とは言い切れません。それでも、学習に使わなかった絵で確かめる、という習慣が大切です。
手書き文字のような公開データではなく自作のデータを使ったのは、利用条件を気にせず、このページだけで完結させるためです。
学習の途中を、観察する
学習の様子を、歩数ごとに見ると、面白いことが分かります。最初の数十歩で、損失は急に下がり、そのあとは、ゆっくりとしか変わりません。重みの図も、最初はほぼ無色で、少しずつ、十字らしさ、枠らしさの模様が現れてきます。「学習する」とは、初期値から出発した数が、データに合わせて、整っていく過程なのです。
少ないデータの限界
この章の学習データは、30枚だけです。それでも、十字と枠くらい単純な違いなら、見分けられるようになります。けれど、もっと複雑な違いを見分けるには、より多くのデータや、より高い表現力が必要になる場合があります。必要な量は、問題の複雑さのほか、データの質や事前の知識にも左右される、という感覚は、AIを使うときの、よい目安になります。
