意味を教えずに、言葉の地図ができる
言葉の意味を、コンピュータに辞書のように教えるのは大変です。ところが、「どんな言葉と一緒に使われるか」を数えるだけで、似た言葉が近くに並ぶ「地図」ができる、という方法があります。この章は、その手順を、小さな例で最後まで追います。
一緒に出てきた回数を数える
14個の短い文(自作)を用意し、同じ文の中で一緒に出てきた言葉のペアを数えます。「パン」は、「を」「食べる」「と」「ごはん」などと何度も一緒に出てきます。この回数の表が、言葉を数に直した、最初の形です。
「同じような言葉と一緒に出てくる言葉は、似た言葉」という考え方。
偶然より多いかを見る
ただ、「を」や「は」のように、どこにでも出る言葉は、何とでも一緒に出るので、回数だけでは近さが分かりません。そこで、一緒に出る回数が、偶然の見込みよりどれだけ多いかを、対数で表します。見込みより少なければ0にします(PPMI という量です)。
2つの軸に縮める
できた表を、線形代数の固有値・固有ベクトルの方法で、2つの軸に縮めます。この例の固有値は 6.213 と 5.205。各言葉は、2つの数の組、つまり平面上の点になります。軸が何を意味するかは、人が決めるのではなく、計算で自動的に決まります。
近さを測る
点の向きの近さを、コサイン類似度で測ると、「パン」に近いのは、小麦(0.987)、米(0.981)、ごはん(0.979)。電車(0.215)などは遠く出ます。「電車」に近いのは、駅・停留所(0.999)、バス(0.996)です。意味を直接教えていないのに、似た使われ方の言葉が近くに並びました。
割り引いて読む
ただし、この結果が出やすいように、自作の文には近い言葉が同じ文に出る例を入れてあります。実際には、膨大な文章から、より高い次元の数を、学習で作ります。「使われ方が近い言葉は近くに」という発想は同じですが、規模も方法も、この模型とは桁違いです。
「分布仮説」という発想
この章の手順は、「言葉の意味は、周りの言葉との関係で決まる」という発想に立っています。辞書のように定義を教えるのではなく、使われ方の統計から、意味の近さを取り出す。これは、言語を扱う多くの方法の、根っこにある考え方として知られています。人間の言葉の学び方にも、似たところがあります。初めて見た単語でも、周りの文脈から、意味を推測できるのと、同じです。
地図に写らないもの
ただし、この方法には限界もあります。使われ方が似ていても、意味が正反対の言葉は、近くに並んでしまいます。また、学習に使った文章に偏りがあれば、その偏りも、地図に写し取られます。「地図は、土地そのものではない」とよく言いますが、言葉の地図も、同じです。何から作ったかで、描かれる地形が変わることを、忘れないでください。
