どの言葉に注目するか、を数で決める
英語の bank は、銀行と川岸の、両方を意味します。「He sat by the bank」 だけでは、どちらか分かりませんが、「He deposited money at the bank」 なら、すぐ分かります。私たちは、周りの言葉を手がかりに、意味を決めています。ある言葉の意味を決めるのに、他のどの言葉を手がかりにするか。AIが文章を扱うときの重要な問題を、数の計算にしたものが「注意」(アテンション)です。
三つの役割:問い・札・中身
各単語は、数の並び(ベクトル)で表されています。注意の計算では、これを三つの役割に使います。「何を探しているか」を表す問い(クエリ)、「自分はこういうものです」という札(キー)、そして「実際に渡す内容」(バリュー)です。ある単語の問いと、他の単語の札の内積を取ると、それを、並びの長さの平方根 √d で割ったものが、その単語にどれだけ注目すべきかの得点になります。
内積で「注目の得点」を出し、ソフトマックスで割合に直して、中身を混ぜる。
割合で、中身を混ぜる
得点は、前に見たソフトマックスで、足して 1 になる割合に直されます。その割合で、各単語の中身を混ぜ合わせたものが、この単語の新しい表現です。この章の小さな例では、ある単語が一方の単語に 78.7%、もう一方に 21.3% の注目を向けます。注目先を入れ替えると、割合が 78.1% と 21.9% に変わります。
近くも遠くも、同じように見られる
この方式の特長は、距離に関係なく、どの単語にも直接注目できることです。順番に状態を引き継ぐ再帰の方式では、遠くの単語の影響が、途中で薄れていきます。注意では、文の最初と最後の単語が、同じ一回の計算で結びつきます。いまの大規模な言語モデルで、この考え方が中心的に使われている理由の一つです。
模型と本物のあいだ
本物のモデルでは、問い・札・中身を作る重みを学習し、多数の注意を並列に走らせ、それを何層も積み重ねます。この章の模型は、その計算の一回分だけを、手で追えるサイズに縮めたものです。数字を動かして、「どこを見ているか」が計算で決まるのだ、という感覚をつかんでください。
重みを学習で決める意味
この章の模型では、問い・札・中身を作る行列を、人が決めました。実際のAIでは、これらの行列を、学習で決めます。つまり、「どの言葉が、どの言葉に注目すべきか」の基準を、データから学ぶのです。文法の規則を人が書かなくても、文の構造と対応するような注目の仕方が現れる例が、報告されています。
計算の規模
注意の計算では、すべての単語どうしの組み合わせを計算します。単語が増えると、組み合わせの数は、その2乗で増えます。長い文章を扱うほど、計算が重くなるのは、このためです。長い文章を、効率よく扱うための工夫は、いまも盛んに研究されています。便利な仕組みにも、コストがある、ということです。
