最小の「計算する部品」を、手で動かす
ニューラルネットワークという名前から、脳のような複雑なものを想像するかもしれません。けれど、その部品である「ニューロン」は、拍子抜けするほど単純な計算です。入力に重みをかけて足し、バイアスを加え、0以上かどうかで答えを決める。それだけです。
AND を作る
2つのスイッチ x₁、x₂ が、どちらも入っているときだけ1を出す(AND)部品を作ってみます。重みを w₁=1、w₂=1、バイアスを b=−1.5 にすると、(1, 1) のときだけ z=0.5 で1が出て、ほかは負になって0です。重みとバイアスの数を決めただけで、論理の部品ができました。
重みとバイアスという数が、この部品の「振る舞い」を決めている。
平面を、線1本で分ける
2つの入力を平面の座標だと思うと、z=0 になる点は、直線を描きます。この線が、1を出す側と、0を出す側を分けます。ニューロン1個の仕事は、平面を線で2つに分けること、と言い換えられます。
間違えたら、重みを直す
重みを、自動で見つける方法もあります。正解が1なのに0を出したら、各重みを入力の分だけ、バイアスを1だけ増やす。正解が0なのに1を出したら、減らす。この手順を繰り返すと、AND や OR は数回で全問正解になります。誤りに応じて重みを調整して学習する模型は、1958年に Rosenblatt が発表した、パーセプトロンの論文にさかのぼります。ここで示した更新式は、今日の教科書で使われる形です。
線1本では解けない問題
ところが、「どちらか一方だけが1」のときに1を出す XOR は、どんな重みを選んでも、線1本では正解を分けられません。「自動で学習する」を押して、20回繰り返しても、全問正解になりません。この壁を超える鍵が、ニューロンを重ねることで、次の章の主題です。
名前は比喩
「ニューロン」という名前は、神経細胞を単純化した数理モデル(1943年の McCulloch と Pitts)に由来します。ただし、これは比喩で、脳の仕組みそのものを再現しているわけではありません。
重みは、「重要度」の読み取りもの
重みを、各入力の「重要度」だと見ると、イメージしやすくなります。入力の変化幅が同じなら、重みの絶対値が大きいほど、判定前の和は大きく変わり、0に近ければ、ほとんど変わりません。AND の例では、2つの入力に同じ重みをつけて、「両方が入ったとき」だけ、しきい値を超えるように、バイアスで調整しています。バイアスは、「どれくらい入力が集まったら反応するか」を決める、敷居の高さです。
手計算できる大きさだから、見える
この小さな部品は、頭の中で追いかけられるほど単純です。ところが、これを何億個も並べたものが、巨大なAIです。部品が単純だからといって、全体が単純とは限りませんが、逆に、全体がどれほど複雑でも、重みつきの和を作るという基本は共通で、そのあとに使う関数や、部品の組み方が違うだけだ、ということは、覚えておく価値があります。
