← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱B 近さを測るAI照合済み

言葉の地図:使われ方が近い言葉は、近くに並ぶ

言葉を数の並びにするとき、意味の近さは、どうやって数に入るのでしょうか。
イメージ図(AI生成)
この章の答え言葉の近さは、一緒に出てくる言葉の並びから、数にできます。
必要な数学向きの近さの章(ベクトル・コサイン類似度)
目安読むのに約5分、そのあと図をさわります
読みもの

意味を教えずに、言葉の地図ができる

言葉の意味を、コンピュータに辞書のように教えるのは大変です。ところが、「どんな言葉と一緒に使われるか」を数えるだけで、似た言葉が近くに並ぶ「地図」ができる、という方法があります。この章は、その手順を、小さな例で最後まで追います。

一緒に出てきた回数を数える

14個の短い文(自作)を用意し、同じ文の中で一緒に出てきた言葉のペアを数えます。「パン」は、「を」「食べる」「と」「ごはん」などと何度も一緒に出てきます。この回数の表が、言葉を数に直した、最初の形です。

「同じような言葉と一緒に出てくる言葉は、似た言葉」という考え方。

偶然より多いかを見る

ただ、「を」や「は」のように、どこにでも出る言葉は、何とでも一緒に出るので、回数だけでは近さが分かりません。そこで、一緒に出る回数が、偶然の見込みよりどれだけ多いかを、対数で表します。見込みより少なければ0にします(PPMI という量です)。

2つの軸に縮める

できた表を、線形代数の固有値・固有ベクトルの方法で、2つの軸に縮めます。この例の固有値は 6.213 と 5.205。各言葉は、2つの数の組、つまり平面上の点になります。軸が何を意味するかは、人が決めるのではなく、計算で自動的に決まります。

近さを測る

点の向きの近さを、コサイン類似度で測ると、「パン」に近いのは、小麦(0.987)、米(0.981)、ごはん(0.979)。電車(0.215)などは遠く出ます。「電車」に近いのは、駅・停留所(0.999)、バス(0.996)です。意味を直接教えていないのに、似た使われ方の言葉が近くに並びました。

割り引いて読む

ただし、この結果が出やすいように、自作の文には近い言葉が同じ文に出る例を入れてあります。実際には、膨大な文章から、より高い次元の数を、学習で作ります。「使われ方が近い言葉は近くに」という発想は同じですが、規模も方法も、この模型とは桁違いです。

「分布仮説」という発想

この章の手順は、「言葉の意味は、周りの言葉との関係で決まる」という発想に立っています。辞書のように定義を教えるのではなく、使われ方の統計から、意味の近さを取り出す。これは、言語を扱う多くの方法の、根っこにある考え方として知られています。人間の言葉の学び方にも、似たところがあります。初めて見た単語でも、周りの文脈から、意味を推測できるのと、同じです。

地図に写らないもの

ただし、この方法には限界もあります。使われ方が似ていても、意味が正反対の言葉は、近くに並んでしまいます。また、学習に使った文章に偏りがあれば、その偏りも、地図に写し取られます。「地図は、土地そのものではない」とよく言いますが、言葉の地図も、同じです。何から作ったかで、描かれる地形が変わることを、忘れないでください。

手を動かして確かめる

「似ている言葉は、向きが近い」の章では、言葉の矢印を手作りしました。ここでは、手作りをやめて、文章から作ります。14個の短い文(自作)に、同じ文の中で一緒に出てきた回数を数え、それを2つの数に縮めます。「同じような言葉と一緒に出てくる言葉は、似た言葉」と考えます。

言葉のボタンを押して、向きが近い言葉の順位を見てください。「意味」を教えていないのに、食べ物と乗り物のまとまりができます。

計算を順に追う

1. 一緒に出てきた回数を、表にする

全部の言葉を並べ、同じ文に出てきた回数を、言葉のペアごとに数えます。「パン」は、「を」「食べる」「と」「ごはん」などと、何度も一緒に出てきます。この回数の表が、言葉を数に直した、最初の形です。

2. 偶然より多く一緒に出るかを見る

よく出る言葉(「を」「は」など)は、何とでも一緒に出るので、回数だけでは近さが分かりません。そこで、一緒に出る回数が、偶然の見込みよりどれだけ多いかを、対数で表します。見込みより少ない場合は0にします(PPMI と呼ばれる量です)。

3. 2つの軸に縮める

表を、固有値・固有ベクトルという線形代数の方法で、大きい順に2つの軸に縮めます。この例では、固有値は 6.213 と 5.205 でした。各言葉は、2つの数の組=平面の点になります。軸の意味は、人が決めたものではなく、計算で自動的に決まります。

4. 近さを測る

できた点の向きの近さを、コサイン類似度で測ります。「パン」に近いのは、小麦(0.987)、米(0.981)、ごはん(0.979)。電車(0.215)、駅(0.179)、停留所(0.170)、バス(0.121)は、どれも 0.22 以下です。「電車」に近いのは、駅(0.999)、停留所(0.999)、バス(0.996)です。意味を直接は教えていないのに、似た使われ方の言葉が、近くに並びました。ただし、自作の文には「パンとごはん」のように、近い言葉が同じ文に出る例も入れてあるため、結果が出やすい作りになっています。

コサイン類似度 パン:小麦 0.987 米 0.981 ごはん 0.979 電車 0.215 電車:駅 0.999 停留所 0.999 バス 0.996 パン 0.215
思い出しメモ 固有値・固有ベクトルは、大学の線形代数で出てくる言葉です。ここでは「表のなかで、いちばん目立つ『まとまり方』を、目立つ順に取り出す計算」だと読めば十分です。
ひとことで言うと言葉の近さは、一緒に出てくる言葉の並びから、数にできます。

今につながる話

言葉を数の並び(埋め込み)にする考え方は、この章の「使われ方が近い言葉は近くに」という発想が元になっています。実際のAIは、14文でなく、膨大な文章から、より高い次元の数を、学習によって作ります。

なるほど2問

出典と確認状態

ほんとうは…(14文の限界)

この章は、14文という小さな自作データで、考え方を見せています。実際の言葉の埋め込みは、膨大な文章から、学習で作られ、数百以上の次元をもちます。また、「近い」ことと「同じ意味」であることは、同じではありません(たとえば反対の意味の言葉も、同じような文脈で使われて、近くなることがあります)。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください