← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

1個のニューロンを、手で動かす

ニューラルネットワークの「ニューロン」は、実際には何を計算しているのでしょうか。
イメージ図(AI生成)
この章の答えこの模型は、重みつきの和で、平面を線1本で分けています。
必要な数学一次関数・一次方程式
目安読むのに約5分、そのあと図をさわります
読みもの

最小の「計算する部品」を、手で動かす

ニューラルネットワークという名前から、脳のような複雑なものを想像するかもしれません。けれど、その部品である「ニューロン」は、拍子抜けするほど単純な計算です。入力に重みをかけて足し、バイアスを加え、0以上かどうかで答えを決める。それだけです。

AND を作る

2つのスイッチ x₁、x₂ が、どちらも入っているときだけ1を出す(AND)部品を作ってみます。重みを w₁=1、w₂=1、バイアスを b=−1.5 にすると、(1, 1) のときだけ z=0.5 で1が出て、ほかは負になって0です。重みとバイアスの数を決めただけで、論理の部品ができました。

重みとバイアスという数が、この部品の「振る舞い」を決めている。

平面を、線1本で分ける

2つの入力を平面の座標だと思うと、z=0 になる点は、直線を描きます。この線が、1を出す側と、0を出す側を分けます。ニューロン1個の仕事は、平面を線で2つに分けること、と言い換えられます。

間違えたら、重みを直す

重みを、自動で見つける方法もあります。正解が1なのに0を出したら、各重みを入力の分だけ、バイアスを1だけ増やす。正解が0なのに1を出したら、減らす。この手順を繰り返すと、AND や OR は数回で全問正解になります。誤りに応じて重みを調整して学習する模型は、1958年に Rosenblatt が発表した、パーセプトロンの論文にさかのぼります。ここで示した更新式は、今日の教科書で使われる形です。

線1本では解けない問題

ところが、「どちらか一方だけが1」のときに1を出す XOR は、どんな重みを選んでも、線1本では正解を分けられません。「自動で学習する」を押して、20回繰り返しても、全問正解になりません。この壁を超える鍵が、ニューロンを重ねることで、次の章の主題です。

名前は比喩

「ニューロン」という名前は、神経細胞を単純化した数理モデル(1943年の McCulloch と Pitts)に由来します。ただし、これは比喩で、脳の仕組みそのものを再現しているわけではありません。

重みは、「重要度」の読み取りもの

重みを、各入力の「重要度」だと見ると、イメージしやすくなります。入力の変化幅が同じなら、重みの絶対値が大きいほど、判定前の和は大きく変わり、0に近ければ、ほとんど変わりません。AND の例では、2つの入力に同じ重みをつけて、「両方が入ったとき」だけ、しきい値を超えるように、バイアスで調整しています。バイアスは、「どれくらい入力が集まったら反応するか」を決める、敷居の高さです。

手計算できる大きさだから、見える

この小さな部品は、頭の中で追いかけられるほど単純です。ところが、これを何億個も並べたものが、巨大なAIです。部品が単純だからといって、全体が単純とは限りませんが、逆に、全体がどれほど複雑でも、重みつきの和を作るという基本は共通で、そのあとに使う関数や、部品の組み方が違うだけだ、ということは、覚えておく価値があります。

手を動かして確かめる

2つのスイッチ x₁、x₂ がそれぞれ入り切り(1か0)のとき、「両方が入っていたら1」(AND)を出す部品を作りたいとします。これを、かけ算と足し算に「0以上かどうかの判定」を加えた、1個の小さな計算で作ってみます。

重みとバイアスのスライダーを動かして、4つの丸がすべて正解になる線を探してください。「自動で学習する」ボタンも試せます。

計算を順に追う

1. 入力に重みをかけて足す

1個のニューロンは、入力にそれぞれ重みをかけて足し、バイアスを加えます。その値が0以上なら1、そうでなければ0を出す、という最も単純な形で考えます。

z = w₁·x₁ + w₂·x₂ + b 出力 = 1 (z ≥ 0 のとき)、0 (z < 0 のとき)

2. 平面を線1本で分ける

重みの少なくとも一方が0でなければ、z=0 になる点は直線になります。この直線は、出力が1になる側と0になる側を分けます。AND は、w₁=1、w₂=1、b=−1.5 で正解になります。(1, 1) のときだけ z=0.5 で1、それ以外は負になるからです。

w₁=1, w₂=1, b=−1.5 (1,1): 1+1−1.5 = 0.5 → 1 (1,0): 1+0−1.5 = −0.5 → 0

3. 間違えたら、重みを直す

重みを自動で見つける方法もあります。出力が間違っていたら、正解が1なのに0を出したときは、入力の分だけ各重みを増やし、バイアスも増やします。正解が0なのに1を出したときは逆に減らします。式にすると次のとおりです。これを繰り返すと、AND や OR は数回で全問正解になります。誤りに応じて重みを調整して学習する模型は、1958年に Rosenblatt がパーセプトロンとして発表した論文にさかのぼります。上の式は、今日の教科書で使われる形です。

wᵢ ← wᵢ + (正解 − 出力) × xᵢ b ← b + (正解 − 出力)

4. XOR は線1本では分けられない

「どちらか一方だけが1」のとき1を出す XOR は、どんな重みとバイアスを選んでも、1本の線で正解を分けられません。「自動で学習する」を押すと、20回繰り返しても全問正解になりません。この壁を超えるのが、ニューロンを重ねる(層にする)考え方で、次の章以降の主題です。

思い出しメモ z=0 を x₂ について解くと、w₂≠0 のとき x₂=−(w₁/w₂)·x₁−b/w₂ で、傾きは −w₁/w₂、切片は −b/w₂ です。重みの比で線の向きが、バイアスで線の位置が決まります。
ひとことで言うとこの模型は、重みつきの和で、平面を線1本で分けています。

今につながる話

ニューラルネットワークは、この小さな計算をたくさん並べて重ねたものです。実際のネットワークでは、0か1に切り替わる関数のかわりに、さまざまな値を出す非線形の関数(ReLU など)がよく使われます。「ニューロン」という名前は、神経細胞を単純化した数理モデル(1943年のMcCulloch・Pitts)に由来しますが、これは比喩であり、脳の仕組みそのものを再現しているわけではありません。

なるほど2問

出典と確認状態

ほんとうは…(「ニューロン」という名前)

脳の神経細胞のはたらきは、ここで扱う計算よりずっと複雑です。ニューラルネットワークの部品を「ニューロン」と呼ぶのは、歴史的な由来による名前です。AIが脳と同じ仕組みで動いているという意味ではありません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください