← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱E 確率で選ぶAI照合済み

確率の絞り込み:top-k と top-p

確率が低い語まで含めて選ぶと、なぜ変な文が出やすくなるのでしょうか。
イメージ図(AI生成)
この章の答えtop-k と top-p は、確率の低い候補を、最初から捨てる方法です。
必要な数学確率・足して1に直す
目安読むのに約4分、そのあと図をさわります
読みもの

選択肢を、あらかじめ絞る

確率に従って次の言葉を選ぶと、ごくまれに、確率の低い言葉が選ばれます。それが面白い揺らぎになることもあれば、文脈から外れた一語になって、文章を台無しにすることもあります。そこで、確率の低い候補を、最初から捨ててしまう方法が考えられました。

top-k:上位 k 個だけ残す

確率の高い順に k 個だけ残し、残りは確率0にします。そのあと、残した確率の合計で割って、足して1に直します。この章の例で k=3 なら、晴れ・雨・曇りが残り、元の確率の合計は 75% です。割り直すと、46.7%、33.3%、20.0% になります。

top-p:足して p に届くまで残す

もう一つは、確率の高い順に足していき、合計が p 以上になった時点までを残す方法です。p=0.9 なら、0.35、0.60、0.75、0.85、0.91 と足して、5個で超えます。残った5個を、91% で割って直すと、38.5%、27.5%、16.5%、11.0%、6.6% になります。

top-k は個数で切り、top-p は確率の合計で切る。

候補の数が、状況で変わる

top-k は、いつも同じ個数だけ残します。top-p は、確率が1つに集中しているときは少なく、散らばっているときは多く残します。「確率の合計」で線を引くので、状況に合わせて、候補の数が変わるのです。top-p は、2019年の論文で提案された方法として知られています。

温度との違い

温度は、確率の山の形を、全体になだらかに変えます。top-k や top-p は、山の裾を、ばっさり切り捨てます。別のつまみなので、組み合わせて使えます。ただし、切りすぎると、選択肢が減って、同じような文ばかりになります。

切りすぎと、切らなさすぎ

確率の低い候補を捨てるのは、文章が、文脈から外れた言葉を選ぶのを防ぐ、という利点があります。けれど、切りすぎると、選択肢が少なくなり、似たような表現ばかりが出ます。逆に、まったく切らなければ、確率の裾にある、場違いな言葉が、まれに選ばれます。この間の、ちょうどよい加減を探すことが、生成の設定の、腕の見せどころです。

設定は目的で変わる

候補を絞ると、表現のばらつきは抑えられますが、事実の正確さが保証されるわけではありません。一方、表現の幅を楽しみたい場面では、やや広めに残すほうが、面白い結果になります。同じ模型でも、設定のつまみによって、性格が変わるのです。これらのつまみは、AIの「創造性」そのものではなく、確率の使い方の調整だ、と見ておくと、仕組みを冷静に捉えられます。

手を動かして確かめる

次の語の候補が10個あり、確率が 35%、25%、15%、…と下がり、最後の候補は 0.5% です(自作の例)。確率どおりに選ぶと、まれに、低い確率の候補が選ばれます。それを避けるために、確率の低い候補を最初から捨てる方法があります。

top-k と top-p を切り替えて、残る候補と、足して1に直した確率を見てください。

計算を順に追う

1. top-k:上位 k 個だけ残す

確率の高い順に k 個だけ残し、残りは確率 0 にします。そのあと、残した確率の合計で割って、足して1に直します。k=3 なら、晴れ・雨・曇りが残り、元の確率の合計は 75% です。割って直すと、46.7%、33.3%、20.0% になります。

k=3:残る確率の合計 0.75 晴れ 0.35/0.75 = 46.7% 雨 0.25/0.75 = 33.3% 曇り 0.15/0.75 = 20.0%

2. top-p:足して p に届くまで残す

確率の高い順に足していき、合計が p 以上になった時点までを残します。p=0.9 なら、0.35、0.60、0.75、0.85、0.91 と足して、5個で 0.9 を超えます。残る5個を、合計 91% で割って直すと、38.5%、27.5%、16.5%、11.0%、6.6% になります。

p=0.9:5個で合計 0.91 晴れ 38.5% 雨 27.5% 曇り 16.5% 雪 11.0% 風 6.6%

3. top-p は、候補の数が状況で変わる

top-k は、いつも同じ個数だけ残します。top-p は、確率が1つに集中しているときは少なく、散らばっているときは多く残します。「確率の合計」で線を引くので、状況に合わせて、候補の数が変わります。

4. 温度とあわせて使う

温度(「点数を確率に変える」の章)は、確率の山の形を変えます。top-k や top-p は、山の裾を、最初から切り捨てます。この2つは別のつまみで、組み合わせて使うことができます。切りすぎると、選択肢が減って、同じような文ばかりになります。

思い出しメモ 確率を、大きい順に足していった合計を、累積確率といいます。top-p は、累積確率が p に届いたところで、足すのをやめる方法です。
ひとことで言うとtop-k と top-p は、確率の低い候補を、最初から捨てる方法です。

今につながる話

文章を作るときの設定には、温度のほか、top-k や top-p のような、選択肢を絞るものがあります。top-p は、2019年の論文で提案された方法として知られています。

なるほど2問

出典と確認状態

ほんとうは…(効果について)

絞り込みで、どれくらい文の質が変わるかは、モデルや使い方によって異なります。この章は、確率の操作の仕組みだけを見せるもので、効果の大きさを示すものではありません。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください