← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱B 近さを測るAI照合済み

似ている言葉は、向きが近い

コンピュータは、「パン」と「ごはん」が似ていて「パン」と「電車」が違うことを、どう数で表すのでしょうか。
イメージ図(AI生成)
この章の答え言葉を矢印にして、向きの近さで似ていることを測ります。
必要な数学かけ算・平方根・角度の入口
目安読むのに約5分、そのあと図をさわります
読みもの

「似ている」を、角度で測る

検索で、言葉は違うのに、意図が近い文章がちゃんと見つかることがあります。あるいは、おすすめ機能が、好みの近いものを並べてくれることもあります。その裏では、「似ている」を数で測る計算が行われています。代表的な道具が、矢印の向きの近さを測る、コサイン類似度です。

言葉を、矢印にする

言葉が数の並びで表せるなら、それを、原点から伸びる矢印だと考えられます。この章では、仕組みを見るために、各言葉を2つの数(食べ物らしさ・乗り物らしさ)で表した、手作りの例を使います。パンは (4, 0.5)、ごはんは (3.5, 0.8)、電車は (0.6, 4)。これらは私たちが説明のために決めた数で、実際のAIが計算した値ではありません。

内積で、向きの近さをはかる

2本の矢印の内積は、対応する成分をかけて足したものです。パンとごはんは 14.4、パンと電車は 4.4 になります。矢印の長さを同じにしておけば、向きが近いほど、内積は大きくなります。ただし、矢印が長いと、向きに関係なく大きくなってしまう弱点があります。

長さで割って、向きだけを残す。これがコサイン類似度。

長さで割る

そこで、2本の矢印の長さで割ります。すると、2本のなす角のコサインが得られます。同じ向きなら1、直角なら0、反対向きなら−1です。パンとごはんは 0.995(約5.7°)、パンと電車は 0.270(約74.3°)でした。(2, 1) と (4, 2) のように、長さが2倍違っても、向きが同じなら、類似度は1です。

実際のAIでは

実際の言葉の数の並びは、数百から数千個の数からなります。矢印は、そのぶん高い次元の空間を向きますが、角度で近さを測る考え方は、変わりません。ただし、「数が近い」ことと「意味が同じ」ことは別です。何が近くなるかは、その数をどんなデータで、どう作ったかで決まります。

角度で測ることの、使いやすさ

向きの近さを、角度ではなく、コサインで測るのには、計算上の理由があります。コサインは、−1から1に収まるので、「どれくらい似ているか」を、揃った尺度で比べられます。しかも、矢印が何次元でも、同じ式で計算できます。2次元で図に描いた感覚が、数百次元でも、そのまま使えるのです。

使うときの注意

ただし、コサイン類似度が高いことは、「意味が同じ」ことを保証しません。たとえば、「良い」と「悪い」のように、反対の意味の言葉が、同じような文脈で使われ、近い向きになることもあります。数が近いのは、「同じような使われ方をする」からで、「同じ意味だ」からではありません。この違いを意識しておくと、類似度の結果を、過信せずに読めます。

手を動かして確かめる

言葉を、数の並びに直したとします。ここでは仕組みを見るために、各言葉を2つの数(食べ物らしさ・乗り物らしさ)で表した、手作りの例を使います。パンは (4, 0.5)、ごはんは (3.5, 0.8)、電車は (0.6, 4)、バスは (1, 3.5) です。この数は説明のために私たちが決めたもので、実際のAIが計算した値ではありません。

2本の矢印の先端をドラッグしてください。向きが近いほど、コサイン類似度が1に近づきます。

計算を順に追う

1. 言葉を矢印にする

数の並びを、原点から伸びる矢印だと考えます。意味の近い言葉の矢印は、同じような向きを向くようにしておきます。実際のAIでは、大量の文章での使われ方から、言葉ごとに数百から数千個の数を割り当てる方法があります。ここでは2個だけです。

2. 内積:成分ごとにかけて足す

2本の矢印 a、b の内積は、対応する成分をかけて足したものです。パンとごはんは 14.4、パンと電車は 4.4 になります。長さが同じなら、向きが近いほど内積は大きくなります。

a·b = a₁b₁ + a₂b₂ パン·ごはん = 4×3.5 + 0.5×0.8 = 14.4 パン·電車 = 4×0.6 + 0.5×4 = 4.4

3. 長さで割ると、向きだけが残る

内積は矢印が長いほど大きくなってしまいます。そこで、2本の長さで割ります。これがコサイン類似度で、2本のなす角のコサインに等しくなります。同じ向きなら1、直角なら0、反対向きなら−1です。矢印の長さは |a|=√(a₁²+a₂²) で、三平方の定理と同じ計算です。どちらかの長さが0だと向きが決まらず、計算できません。

cos θ = a·b / (|a| |b|) |パン| = √(4²+0.5²) = 4.03 パンとごはん:0.995(約5.7°) パンと電車 :0.270(約74.3°)

4. 長さは関係しない

(2, 1) と (4, 2) は長さが2倍違いますが、向きは同じなので、コサイン類似度は1です。長さを無視して向きだけを比べるのが、この指標の特徴です。

思い出しメモ コサインは、高校の三角比で学ぶ、角度から決まる数です。ここでは「向きの近さを表す数」として使うので、未習でも読めます。
ひとことで言うと言葉を矢印にして、向きの近さで似ていることを測ります。

今につながる話

言葉や文章を数の並び(埋め込み)にして、コサイン類似度で近さを測る方法は、似た文章の検索などに広く使われています。ただし、数が近いことと意味が同じことは同じではありません。何が近くなるかは、数の並びをどんなデータでどう作ったかで決まります。

前に読むと楽な章

なるほど2問

出典と確認状態

ほんとうは…(2次元の言葉の地図)

実際の言葉の数の並びは数百次元以上で、1つの軸に「食べ物らしさ」のような分かりやすい意味が対応しているとは限りません。この章の2次元の値は、内積と向きの関係を見せるための手作りの例です。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください