前の内容を、どれだけ覚えていられるか
文章や音楽のように、順番のあるデータでは、前に何があったかが、あとの意味に影響します。「彼は、昨日買った本を読んだ」の「読んだ」を正しく扱うには、「本」が何だったかを、覚えておく必要があります。順番のデータを扱う網は、この「覚えておく」問題に、どう取り組むのでしょうか。
状態を引き継ぐ
再帰型ニューラルネットワーク(RNN)の発想は、単純です。入力が1個ずつ届くたびに、「1つ前の状態」と「今の入力」から、新しい状態を作り、次に渡します。この章では、状態を1つの数だけにして、最初の1回だけ入力が1、あとは0、という最小の例で、最初の入力の影響が、あとまで残るかを見ます。
重みが小さいと、すぐ忘れる
状態は、前の状態に重み w を掛け、入力を足して、tanh(−1〜1に収める関数)を通したものです。w=0.5 では、状態が 0.762、0.363、0.180、0.090、…と、約半分ずつ減っていき、8回後には 0.006。最初の入力は、ほとんど消えています。
記憶は、時間とともに薄れていく。重みが、その速さを決める。
重みが大きいと、残る。でも…
w=1 では、8回後でも状態は 0.391 で、はるかに残ります。ただし、最初の状態が最後に及ぼす影響の大きさは、この模型(w が0〜1.5)では、どの重みでも、時間とともに小さくなります(一般の再帰の網では、逆に増える場合もあります)。この影響が小さいと、学習のための傾きが、先頭まで届かなくなります。これは、勾配が消える、と言われる問題です。
記憶を守る仕組み
長い範囲の記憶を保つために、記憶を守る専用の仕組み(ゲート)をもつ LSTM(1997年)などが提案されました。この章の最小の例は、そうした工夫が求められた動機を、見せるための模型です。順番のデータを扱う網は、その後、注意を中心にした構造へと発展してきたと説明されます。
順番という性質
文章や音声では、「何が」あるかと同じくらい、「どの順番で」あるかが重要です。「犬が男を噛んだ」と「男が犬を噛んだ」は、同じ言葉を使っても、意味が違います。順番を、数の計算の中に取り込む工夫が、再帰の網の出発点でした。状態を引き継ぐという、素朴な発想が、順番のデータを扱う、基本の道具になったのです。
遠くを見る、別の道
記憶を引き継ぐ方式では、遠い過去の情報は、どうしても薄れがちです。そこで、遠くの言葉にも、直接、注目できるようにしたのが、注意(アテンション)の方式です。再帰の欠点を、別の仕組みで補った、と言えます。技術は、前の技術の弱点を見つけて、それを乗り越える形で、進んでいくことが多いのです。
