← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱E 確率で選ぶAI照合済み

次の言葉を、確率で選ぶ

文章を作るAIは、次の言葉をどうやって決めているのでしょうか。
イメージ図(AI生成)
この章の答え次の言葉は、確率を計算して、その確率で選べます。
必要な数学割合・確率の入口
目安読むのに約4分、そのあと図をさわります
読みもの

数えるだけで、文は作れる

文章を作るAIの仕組みは、複雑に見えます。けれど、いちばん単純な形は、実は「数えること」だけでできています。天気についての20個の短い文(自作)を使って、その最小の形を作ってみましょう。

「は」の次に来る言葉を、数える

どの文にも「は」が1回ずつあり、そのあとに来た語は、雨・晴れ・曇り・寒い・風・雪のどれかでした。20回のうち、「雨」が7回、「晴れ」が5回、「曇り」が3回、「寒い」と「風」が2回、「雪」が1回。数えて、全体で割れば、次の語の確率が決まります。「雨」は 7/20=35% です。

数えて割れば、確率になる。確率に従って選べば、文ができる。

確率に従って、選ぶ

いちばん確率の高い語を毎回選ぶ方法もあります。けれど、確率に従ってランダムに選べば、同じ出発点から、違う文ができます。何度も作ると、同じ文も、違う文も出てきます。

温度で、偏りを変える

確率 p を 1/T 乗してから、合計が1になるように割り直すと、偏りが変わります。T が小さいと、確率の高い語に集中し、T が大きいと、全体が平らになって、まれな語も選ばれやすくなります。T=1 は元のままです。

この模型にできないこと

この模型は、直前の1語しか見ていません。だから、文全体のつじつまは合わず、読むと不自然な文も出ます。今の大規模な言語モデルは、それまでの長い文脈から、トークンごとに次の確率を出します。確率の出し方は、この章の数え上げとはまったく違いますが、「次の確率を出して、そこから選ぶ」という考え方は共通しています。

「数えるだけ」の限界を知る

この模型は、直前の1語だけを見て、次の語を決めます。そのため、「は」の次の語を選ぶとき、その前にどんな語があったかは、一切考慮されません。長い文のつじつまを合わせるには、もっと前の言葉まで見る必要があります。語を2つ、3つと遡って数える方法もありますが、遡る数を増やすと、数えるべき組み合わせが爆発的に増え、データが足りなくなります。

この問題を、どう乗り越えるか

そこで、組み合わせを数えるのではなく、言葉を数の並びに直して、確率を計算で出す、という方向へ進みます。似た言葉を似た数にしておけば、一度も見ていない組み合わせでも、近い言葉の経験を使って、確率を出せるからです。前に見た言葉の地図と、あとで見る注意が、その部品にあたります。

手を動かして確かめる

天気についての20個の短い文を用意しました(自作の文例です)。どの文にも「は」が1回ずつあり、そのあとに来た語は、雨・晴れ・曇り・寒い・風・雪のどれかでした。それぞれ何回ずつ出てきたかを数えれば、「は」の次の語の確率が決まります。この章では、そのいちばん単純な形を動かしてみます。

「確率に従って1語選ぶ」を押すと、棒の割合に応じて次の語が選ばれます。温度のスライダーも動かしてください。

計算を順に追う

1. 数えると、確率になる

この模型では、ある語のあとに来た語を数え、全体で割った割合を、次の語の確率として使います。この文例では、「は」の次に来た語は、全部で20回のうち、「雨」が7回、「晴れ」が5回、「曇り」が3回、「寒い」と「風」が2回、「雪」が1回です。「雨」の確率は 7/20=35% になります。

P(雨 | は) = 7 / 20 = 0.35 P(晴れ | は) = 5 / 20 = 0.25

2. 確率にしたがって、サイコロを振る

いちばん確率の高い語を毎回選ぶ方法もありますが、確率にしたがってランダムに選ぶと、同じ出発点からでも違う文ができます。「文を1つ作る」を繰り返すと、違う文も、同じ文も出てきます。

3. 温度で、偏りを変える

確率を p として、p を 1/T 乗してから、合計が1になるように割り直します(T は0より大きい数)。上の35%は T=1 のときの値です。T が小さいと確率の高い語に集中し、T が大きいと全体が平らになって、まれな語も選ばれやすくなります。T=1 は元の確率のままです。

p'ᵢ = pᵢ^(1/T) / Σⱼ pⱼ^(1/T) (T > 0、Σ は次の語の候補すべて)

4. この模型ができないこと

この模型は、直前の1語しか見ていません。そのため、文全体のつじつまは合わず、読むと不自然な文も出てきます。今の大規模な言語モデルは、それまでの長い文脈から、語より細かい単位(トークン)ごとに次の確率を出します。その確率の出し方も、大量の数を学習で調整したものです。この章の数え上げ表とは作りが違いますが、「次の語の確率を出して、そこから選ぶ」という考え方は共通しています。

思い出しメモ 温度の式は、各語の確率の対数を T で割って確率に戻す形と同じです。実際のモデルでは、確率になる前の値を T で割ります。
ひとことで言うと次の言葉は、確率を計算して、その確率で選べます。

今につながる話

文章を作るAIは、これまでの言葉をもとに、次に来る言葉の確率を計算して、そこから1つを選ぶ、という手順を繰り返す仕組みとして説明されます。確率をどう出すかは、この章の数え上げよりずっと複雑ですが、確率で選ぶという部分は、この章と同じです。

なるほど2問

出典と確認状態

ほんとうは…(歴史のこと)

語の並びを確率で近似して英文らしい文を作る試みは、1948年のShannonの論文にも例があります。この章の模型は、隣り合う2語の数え上げ(bigram)で、教科書では n-gram 言語モデルの一種として扱われています。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください