← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

順番のあるデータ:再帰と、記憶の保ち方

文章や音のように、順番のあるデータは、どうやって前の内容を引き継ぐのでしょうか。
イメージ図(AI生成)
この章の答え再帰の網は、状態を引き継いで順番を扱いますが、長い記憶を保つのはむずかしくなります。
必要な数学連鎖律(誤差逆伝播の章)・関数のグラフ
目安読むのに約4分、そのあと図をさわります
読みもの

前の内容を、どれだけ覚えていられるか

文章や音楽のように、順番のあるデータでは、前に何があったかが、あとの意味に影響します。「彼は、昨日買った本を読んだ」の「読んだ」を正しく扱うには、「本」が何だったかを、覚えておく必要があります。順番のデータを扱う網は、この「覚えておく」問題に、どう取り組むのでしょうか。

状態を引き継ぐ

再帰型ニューラルネットワーク(RNN)の発想は、単純です。入力が1個ずつ届くたびに、「1つ前の状態」と「今の入力」から、新しい状態を作り、次に渡します。この章では、状態を1つの数だけにして、最初の1回だけ入力が1、あとは0、という最小の例で、最初の入力の影響が、あとまで残るかを見ます。

重みが小さいと、すぐ忘れる

状態は、前の状態に重み w を掛け、入力を足して、tanh(−1〜1に収める関数)を通したものです。w=0.5 では、状態が 0.762、0.363、0.180、0.090、…と、約半分ずつ減っていき、8回後には 0.006。最初の入力は、ほとんど消えています。

記憶は、時間とともに薄れていく。重みが、その速さを決める。

重みが大きいと、残る。でも…

w=1 では、8回後でも状態は 0.391 で、はるかに残ります。ただし、最初の状態が最後に及ぼす影響の大きさは、この模型(w が0〜1.5)では、どの重みでも、時間とともに小さくなります(一般の再帰の網では、逆に増える場合もあります)。この影響が小さいと、学習のための傾きが、先頭まで届かなくなります。これは、勾配が消える、と言われる問題です。

記憶を守る仕組み

長い範囲の記憶を保つために、記憶を守る専用の仕組み(ゲート)をもつ LSTM(1997年)などが提案されました。この章の最小の例は、そうした工夫が求められた動機を、見せるための模型です。順番のデータを扱う網は、その後、注意を中心にした構造へと発展してきたと説明されます。

順番という性質

文章や音声では、「何が」あるかと同じくらい、「どの順番で」あるかが重要です。「犬が男を噛んだ」と「男が犬を噛んだ」は、同じ言葉を使っても、意味が違います。順番を、数の計算の中に取り込む工夫が、再帰の網の出発点でした。状態を引き継ぐという、素朴な発想が、順番のデータを扱う、基本の道具になったのです。

遠くを見る、別の道

記憶を引き継ぐ方式では、遠い過去の情報は、どうしても薄れがちです。そこで、遠くの言葉にも、直接、注目できるようにしたのが、注意(アテンション)の方式です。再帰の欠点を、別の仕組みで補った、と言えます。技術は、前の技術の弱点を見つけて、それを乗り越える形で、進んでいくことが多いのです。

手を動かして確かめる

入力が1個ずつ順に届くとします。1つ前の状態 h と、今の入力 x から、新しい状態を作って、次に渡します。これを繰り返す網が、再帰型ニューラルネットワーク(RNN)です。ここでは、最初の1回だけ入力が1で、あとは0、状態は1つの数、という最小の例で、最初の入力で動いた状態が、あとまで影響するかを見ます。

重み w を動かして、状態 h の折れ線と、最初の状態が最後に及ぼす影響(出力欄の数値)の変化を見てください。

計算を順に追う

1. 状態を更新して、次に渡す

h は、前の状態に重み w を掛け、今の入力 x(係数 1)を足して、tanh を通したものです。tanh は、−1 から 1 の間に収める関数です。最初の入力 1 で、h は tanh(1)=0.762 になります。

h_t = tanh( w·h_(t−1) + 1·x_t )

2. w が小さいと、記憶は速く消える

w=0.5 では、状態が、0.762、0.363、0.180、0.090、…と、約半分ずつ減っていきます。8回後には 0.006 で、最初の入力は、ほとんど消えています。最初の状態が最後に及ぼす影響(傾きの積)は、6.5×10⁻³ です。

3. w が大きいと、記憶は保たれる

w=1 では、8回後でも h は 0.391、影響は 0.13 と、はるかに残ります。w=1.2 では、h は 0.664、影響は 4.3×10⁻² です。ただし、この影響の積は、各回の「w×(1−h²)」を掛けたもので、h が大きいほど小さくなる項が入るため、w が大きくても、時間とともに小さくなります。

4. 長い範囲を保つのは、むずかしい

影響の積が、時間とともに小さくなると、学習のための傾きが、先頭まで届かなくなります(勾配が消える、と言われます)。これを避けるために、記憶を保つ専用の仕組み(ゲート)をもつ LSTM(1997年)などが提案されました。この教材の最小の例は、その動機を見せるための模型です。

思い出しメモ tanh は、シグモイド関数とよく似た形の、−1 から 1 の間に収める関数です。傾きは 1−tanh² です。
ひとことで言うと再帰の網は、状態を引き継いで順番を扱いますが、長い記憶を保つのはむずかしくなります。

今につながる話

順番のあるデータを扱う網は、再帰の網のあと、注意を中心にした構造(Transformer)などへ発展してきたと説明されます。ここで見たのは、その出発点にある、最小の再帰の模型です。

前に読むと楽な章

なるほど2問

出典と確認状態

ほんとうは…(この例の単純化)

この例は、状態が1つの数で、入力も1回だけの、最小の模型です。実際の再帰の網は、状態が多数の数の並びで、重みは行列です。勾配が消える問題や、逆に増えすぎる問題は、行列の性質にも左右されます。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください