線1本で解けない問題を、層で解く
前の章で、XOR は、ニューロン1個では解けないと分かりました。けれど、問題を少し言い換えると、突破口が見えてきます。「どちらか一方だけが1」とは、「少なくとも一方が1」で、かつ「両方が1ではない」ことです。
2つの簡単な問題に分ける
「少なくとも一方が1」は OR、「両方が1ではない」は NAND です。どちらも、線1本で判定できる問題で、ニューロン1個で作れます。この2つの判定を並べたものが、隠れ層です。
難しい問題を、線1本で解ける問題に分けて、最後に組み合わせる。
2つの答えを組み合わせる
OR と NAND の答え(h₁ と h₂)を、さらに1個のニューロンに渡し、「どちらも1のときだけ1」(AND)とすれば、XOR の答えになります。4通りの入力で確かめると、XOR の正解と一致します。
平面で見ると、帯になる
平面に描くと、隠れ層の2つの境界は、2本の線です。最初の設定では、その間の「帯」の中にある点が、出力1になります。1本の線では不可能だったものが、2本の線で挟めば、できるのです。
座標を、解きやすい形に変える
別の見方もあります。隠れ層は、入力 (x₁, x₂) を、新しい座標 (h₁, h₂) に置き換えている、という見方です。新しい座標では、正解が1の点は (1, 1)、0の点は (0, 1) と (1, 0) となり、線1本で分けられます。層を重ねるとは、問題を解きやすい形に変換してから、最後に簡単な判定をすることだと言えます。
なお、層を重ねたニューラルネットが、複雑な関数を表せることは、理論的にも調べられています。ただし、「表せる」ことと、「学習でその重みが見つかる」ことは別の話です。
層の数は、「何段で考えるか」
隠れ層を、「問題を分解する段」だと考えてみましょう。1段目で、簡単な判定をいくつか行い、2段目で、その結果を組み合わせる。この分解は、人が、難しい問題を、小さな問題に分けて解く手順と、よく似ています。ネットワークが深いほど、より多段の分解ができる、と言えます。
人が分解しなくてよい
この章では、XOR を OR と NAND に分ける、という分解を、人が考えて、重みを決めました。けれど、実際の学習では、どう分解するかも、重みと一緒に、データから学ばれます。層の数や幅は人が選びますが、その構造の中で、役に立つ中間の表現を、重みの調整を通して学ぶことがあります。これが、深い学習が注目される、大きな理由の一つです。
