← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

層を重ねると、XORが解ける

線1本では分けられなかった XOR は、ニューロンを重ねるとどう解けるのでしょうか。
イメージ図(AI生成)
この章の答え層を重ねると、1本の線では分けられない問題も解けます。
必要な数学前の章(1個のニューロン)
目安読むのに約4分、そのあと図をさわります
読みもの

線1本で解けない問題を、層で解く

前の章で、XOR は、ニューロン1個では解けないと分かりました。けれど、問題を少し言い換えると、突破口が見えてきます。「どちらか一方だけが1」とは、「少なくとも一方が1」で、かつ「両方が1ではない」ことです。

2つの簡単な問題に分ける

「少なくとも一方が1」は OR、「両方が1ではない」は NAND です。どちらも、線1本で判定できる問題で、ニューロン1個で作れます。この2つの判定を並べたものが、隠れ層です。

難しい問題を、線1本で解ける問題に分けて、最後に組み合わせる。

2つの答えを組み合わせる

OR と NAND の答え(h₁ と h₂)を、さらに1個のニューロンに渡し、「どちらも1のときだけ1」(AND)とすれば、XOR の答えになります。4通りの入力で確かめると、XOR の正解と一致します。

平面で見ると、帯になる

平面に描くと、隠れ層の2つの境界は、2本の線です。最初の設定では、その間の「帯」の中にある点が、出力1になります。1本の線では不可能だったものが、2本の線で挟めば、できるのです。

座標を、解きやすい形に変える

別の見方もあります。隠れ層は、入力 (x₁, x₂) を、新しい座標 (h₁, h₂) に置き換えている、という見方です。新しい座標では、正解が1の点は (1, 1)、0の点は (0, 1) と (1, 0) となり、線1本で分けられます。層を重ねるとは、問題を解きやすい形に変換してから、最後に簡単な判定をすることだと言えます。

なお、層を重ねたニューラルネットが、複雑な関数を表せることは、理論的にも調べられています。ただし、「表せる」ことと、「学習でその重みが見つかる」ことは別の話です。

層の数は、「何段で考えるか」

隠れ層を、「問題を分解する段」だと考えてみましょう。1段目で、簡単な判定をいくつか行い、2段目で、その結果を組み合わせる。この分解は、人が、難しい問題を、小さな問題に分けて解く手順と、よく似ています。ネットワークが深いほど、より多段の分解ができる、と言えます。

人が分解しなくてよい

この章では、XOR を OR と NAND に分ける、という分解を、人が考えて、重みを決めました。けれど、実際の学習では、どう分解するかも、重みと一緒に、データから学ばれます。層の数や幅は人が選びますが、その構造の中で、役に立つ中間の表現を、重みの調整を通して学ぶことがあります。これが、深い学習が注目される、大きな理由の一つです。

手を動かして確かめる

XOR は「どちらか一方だけが1」のときに1を出します。言い換えると、「少なくとも一方が1(OR)」で、かつ「両方が1ではない(NAND)」です。この2つは、それぞれ線1本で判定できます。

隠れ層のニューロン2個と、出力のニューロン1個の組です。最初から、4問とも正解になる重みを入れてあります。スライダーを動かして、どこが壊れるかを見てください。

計算を順に追う

1. 問題を2つの簡単な問題に分ける

XOR = OR かつ NAND と分けます。OR も NAND も、前の章のニューロン1個で作れます。2つの判定を並べたものが隠れ層です。以下、step(z) は、z が 0 以上なら1、そうでなければ0を出す関数です。

隠れ1(OR) :h₁ = step(x₁ + x₂ − 0.5) 隠れ2(NAND):h₂ = step(−x₁ − x₂ + 1.5)

2. 2つの答えを、もう1個のニューロンで組み合わせる

出力のニューロンは、h₁ と h₂ がどちらも1のときだけ1を出します(AND)。4通りの入力で確かめると、XOR の正解と一致します。

y = step(h₁ + h₂ − 1.5) (0,0): h=(0,1) → 0 (0,1): h=(1,1) → 1 (1,0): h=(1,1) → 1 (1,1): h=(1,0) → 0

3. 平面で見ると、2本の線の間の帯

図では、隠れ1と隠れ2の境界が2本の線になります。最初の設定では、その間の帯の中にある点が出力1になります(重みを変えると、この関係は成り立たなくなります)。1本の線では不可能でしたが、2本あれば、帯で挟めます。

4. 隠れ層は、入力を分けやすい座標に変えている

入力 (x₁, x₂) を、(h₁, h₂) という新しい座標に置き換えたと見ることもできます。新しい座標では、正解が1の点は (1, 1)、0の点は (0, 1) と (1, 0) になり、線1本で分けられます。層を重ねるとは、問題を解きやすい形に変換してから、最後に簡単な判定をすることです。

思い出しメモ ここでは、重みを手で決めました。実際のネットワークでは、傾きを使って重みを調整します。そのため、0か1にぱっと切り替わる関数ではなく、もう少し扱いやすい関数がよく使われます。
ひとことで言うと層を重ねると、1本の線では分けられない問題も解けます。

今につながる話

ニューロンを層に重ねると、より複雑な関数を表せることが、理論的にも調べられています。たとえば、1989年のCybenkoの論文は、連続なシグモイド型の関数を使い、隠れユニットが十分に多ければ、隠れ層が1つのネットワークでも、ある範囲(単位立方体)での連続な関数を、いくらでも近い形で表せることを示しました。この章の、0か1に切り替わる模型とは作りが異なります。また、表せることと、学習でその重みが見つかることは別の話です。

なるほど2問

出典と確認状態

ほんとうは…(表せることと学べること)

十分な数のニューロンがあれば、さまざまな関数を表せることは、1989年のCybenkoなどの研究で示されています。しかし、これは「表せる重みが存在する」という話で、勾配降下などの学習で、実際にその重みに到達できるとは限りません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください