選択肢を、あらかじめ絞る
確率に従って次の言葉を選ぶと、ごくまれに、確率の低い言葉が選ばれます。それが面白い揺らぎになることもあれば、文脈から外れた一語になって、文章を台無しにすることもあります。そこで、確率の低い候補を、最初から捨ててしまう方法が考えられました。
top-k:上位 k 個だけ残す
確率の高い順に k 個だけ残し、残りは確率0にします。そのあと、残した確率の合計で割って、足して1に直します。この章の例で k=3 なら、晴れ・雨・曇りが残り、元の確率の合計は 75% です。割り直すと、46.7%、33.3%、20.0% になります。
top-p:足して p に届くまで残す
もう一つは、確率の高い順に足していき、合計が p 以上になった時点までを残す方法です。p=0.9 なら、0.35、0.60、0.75、0.85、0.91 と足して、5個で超えます。残った5個を、91% で割って直すと、38.5%、27.5%、16.5%、11.0%、6.6% になります。
top-k は個数で切り、top-p は確率の合計で切る。
候補の数が、状況で変わる
top-k は、いつも同じ個数だけ残します。top-p は、確率が1つに集中しているときは少なく、散らばっているときは多く残します。「確率の合計」で線を引くので、状況に合わせて、候補の数が変わるのです。top-p は、2019年の論文で提案された方法として知られています。
温度との違い
温度は、確率の山の形を、全体になだらかに変えます。top-k や top-p は、山の裾を、ばっさり切り捨てます。別のつまみなので、組み合わせて使えます。ただし、切りすぎると、選択肢が減って、同じような文ばかりになります。
切りすぎと、切らなさすぎ
確率の低い候補を捨てるのは、文章が、文脈から外れた言葉を選ぶのを防ぐ、という利点があります。けれど、切りすぎると、選択肢が少なくなり、似たような表現ばかりが出ます。逆に、まったく切らなければ、確率の裾にある、場違いな言葉が、まれに選ばれます。この間の、ちょうどよい加減を探すことが、生成の設定の、腕の見せどころです。
設定は目的で変わる
候補を絞ると、表現のばらつきは抑えられますが、事実の正確さが保証されるわけではありません。一方、表現の幅を楽しみたい場面では、やや広めに残すほうが、面白い結果になります。同じ模型でも、設定のつまみによって、性格が変わるのです。これらのつまみは、AIの「創造性」そのものではなく、確率の使い方の調整だ、と見ておくと、仕組みを冷静に捉えられます。
