数えるだけで、文は作れる
文章を作るAIの仕組みは、複雑に見えます。けれど、いちばん単純な形は、実は「数えること」だけでできています。天気についての20個の短い文(自作)を使って、その最小の形を作ってみましょう。
「は」の次に来る言葉を、数える
どの文にも「は」が1回ずつあり、そのあとに来た語は、雨・晴れ・曇り・寒い・風・雪のどれかでした。20回のうち、「雨」が7回、「晴れ」が5回、「曇り」が3回、「寒い」と「風」が2回、「雪」が1回。数えて、全体で割れば、次の語の確率が決まります。「雨」は 7/20=35% です。
数えて割れば、確率になる。確率に従って選べば、文ができる。
確率に従って、選ぶ
いちばん確率の高い語を毎回選ぶ方法もあります。けれど、確率に従ってランダムに選べば、同じ出発点から、違う文ができます。何度も作ると、同じ文も、違う文も出てきます。
温度で、偏りを変える
確率 p を 1/T 乗してから、合計が1になるように割り直すと、偏りが変わります。T が小さいと、確率の高い語に集中し、T が大きいと、全体が平らになって、まれな語も選ばれやすくなります。T=1 は元のままです。
この模型にできないこと
この模型は、直前の1語しか見ていません。だから、文全体のつじつまは合わず、読むと不自然な文も出ます。今の大規模な言語モデルは、それまでの長い文脈から、トークンごとに次の確率を出します。確率の出し方は、この章の数え上げとはまったく違いますが、「次の確率を出して、そこから選ぶ」という考え方は共通しています。
「数えるだけ」の限界を知る
この模型は、直前の1語だけを見て、次の語を決めます。そのため、「は」の次の語を選ぶとき、その前にどんな語があったかは、一切考慮されません。長い文のつじつまを合わせるには、もっと前の言葉まで見る必要があります。語を2つ、3つと遡って数える方法もありますが、遡る数を増やすと、数えるべき組み合わせが爆発的に増え、データが足りなくなります。
この問題を、どう乗り越えるか
そこで、組み合わせを数えるのではなく、言葉を数の並びに直して、確率を計算で出す、という方向へ進みます。似た言葉を似た数にしておけば、一度も見ていない組み合わせでも、近い言葉の経験を使って、確率を出せるからです。前に見た言葉の地図と、あとで見る注意が、その部品にあたります。
