← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱F ニューラルネットAI照合済み

どこに注目するかを、数で決める:注意

文章の中の、どの言葉に、どれだけ注目して計算するかは、どうやって決めるのでしょうか。
イメージ図(AI生成)
この章の答え注意は、内積で点数を作り、softmax で割合にして、中身を混ぜる計算です。
必要な数学内積・softmax・行列の章
目安読むのに約5分、そのあと図をさわります
読みもの

どの言葉に注目するか、を数で決める

英語の bank は、銀行と川岸の、両方を意味します。「He sat by the bank」 だけでは、どちらか分かりませんが、「He deposited money at the bank」 なら、すぐ分かります。私たちは、周りの言葉を手がかりに、意味を決めています。ある言葉の意味を決めるのに、他のどの言葉を手がかりにするか。AIが文章を扱うときの重要な問題を、数の計算にしたものが「注意」(アテンション)です。

三つの役割:問い・札・中身

各単語は、数の並び(ベクトル)で表されています。注意の計算では、これを三つの役割に使います。「何を探しているか」を表す問い(クエリ)、「自分はこういうものです」という札(キー)、そして「実際に渡す内容」(バリュー)です。ある単語の問いと、他の単語の札の内積を取ると、それを、並びの長さの平方根 √d で割ったものが、その単語にどれだけ注目すべきかの得点になります。

内積で「注目の得点」を出し、ソフトマックスで割合に直して、中身を混ぜる。

割合で、中身を混ぜる

得点は、前に見たソフトマックスで、足して 1 になる割合に直されます。その割合で、各単語の中身を混ぜ合わせたものが、この単語の新しい表現です。この章の小さな例では、ある単語が一方の単語に 78.7%、もう一方に 21.3% の注目を向けます。注目先を入れ替えると、割合が 78.1% と 21.9% に変わります。

近くも遠くも、同じように見られる

この方式の特長は、距離に関係なく、どの単語にも直接注目できることです。順番に状態を引き継ぐ再帰の方式では、遠くの単語の影響が、途中で薄れていきます。注意では、文の最初と最後の単語が、同じ一回の計算で結びつきます。いまの大規模な言語モデルで、この考え方が中心的に使われている理由の一つです。

模型と本物のあいだ

本物のモデルでは、問い・札・中身を作る重みを学習し、多数の注意を並列に走らせ、それを何層も積み重ねます。この章の模型は、その計算の一回分だけを、手で追えるサイズに縮めたものです。数字を動かして、「どこを見ているか」が計算で決まるのだ、という感覚をつかんでください。

重みを学習で決める意味

この章の模型では、問い・札・中身を作る行列を、人が決めました。実際のAIでは、これらの行列を、学習で決めます。つまり、「どの言葉が、どの言葉に注目すべきか」の基準を、データから学ぶのです。文法の規則を人が書かなくても、文の構造と対応するような注目の仕方が現れる例が、報告されています。

計算の規模

注意の計算では、すべての単語どうしの組み合わせを計算します。単語が増えると、組み合わせの数は、その2乗で増えます。長い文章を扱うほど、計算が重くなるのは、このためです。長い文章を、効率よく扱うための工夫は、いまも盛んに研究されています。便利な仕組みにも、コストがある、ということです。

手を動かして確かめる

4つの言葉(パン、ごはん、電車、バス)が、それぞれ2つの数の並びです(「近さを測る」の章の、手作りの値です)。1つの言葉が「質問」を出し、4つの言葉の「キー」と内積を取って、点数にします。その点数を softmax で確率にして、注目の割合とし、その割合で、各言葉の中身(バリュー)を混ぜます。これが、注意(アテンション)の最小の形です。

質問役の言葉と、質問を作る行列を切り替えて、注目の割合がどう変わるかを見てください。

計算を順に追う

1. 質問とキーの内積で、点数を作る

質問 q は、質問役の言葉に行列 WQ を掛けたものです。各言葉のキー k は、その言葉に行列 WK を掛けたものです。この例では WK を単位行列にしました。点数は、内積 q·k を、√d(d は並びの長さ、ここでは2)で割ったものです。割るのは、並びが長いと内積が大きくなりすぎるのを抑えるためです。

点数 s_j = q·k_j / √d

2. softmax で、注目の割合にする

点数を softmax に通すと、足して1になる割合になります。WQ が単位行列で、質問役が「パン」のとき、点数は大きい順に パン、ごはん で、割合は パン 78.7%、ごはん 21.3%、電車とバスはほぼ 0% です。パンの質問は、食べ物の言葉に集中しています。

質問役 パン(WQ=そのまま) パン 78.7% ごはん 21.3% 電車 0.0% バス 0.0% 出力 = (3.892, 0.566)

3. 割合で、中身を混ぜる

各言葉の中身(バリュー)を、注目の割合で重みづけして足したものが、出力です。パンが質問役のとき、出力は (3.892, 0.566) で、パンとごはんの中身を、おおよそ 79 対 21 で混ぜた値です。注意は、「必要な言葉の中身を、必要な分だけ集める」計算です。

4. 何に注目するかは、行列で決まる

WQ を「軸を入れ替える」に変えると、パンの質問が、軸の入れ替わった (0.5, 4) になり、点数は、電車とバスのキーで大きくなります。割合は、電車 78.1%、バス 21.9% で、出力は (0.689, 3.889) です。実際のAIでは、WQ、WK、WV を学習で決めるので、何に注目するかも、学習で決まります。

質問役 パン(WQ=軸を入れ替える) 電車 78.1% バス 21.9% パン 0.0% ごはん 0.0% 出力 = (0.689, 3.889)
思い出しメモ 内積、softmax、行列の掛け算は、すでに出てきた部品です。注意は、新しい計算ではなく、この3つの組み合わせです。
ひとことで言うと注意は、内積で点数を作り、softmax で割合にして、中身を混ぜる計算です。

今につながる話

Transformer と呼ばれる構造は、注意を中心の部品として、何層も重ねて作られています。Transformer 系の構造は、文章を扱う多くのAIで使われていると言われます(割合を示す調査は、この教材では確認していません)。ここで見たのは、その中の、1つの注意の最小の模型で、実際は、複数の注意を並べ、行列も学習で決めるなど、多くの工夫があります。

なるほど2問

出典と確認状態

ほんとうは…(この章の簡略化)

この章は、WK と WV を単位行列にし、言葉は4つ・並びは2つだけの、最小の模型です。実際の Transformer は、WK・WV も学習し、注意を複数並べ(マルチヘッド)、位置の情報も加え、層を重ねて使います。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください