← たのしく学びなおし 一覧 / たのしいAIの数学 / 用語集
柱E 確率で選ぶAI照合済み

試して学ぶ:強化学習の入口

正解のデータがなく、試した結果の良し悪しだけが分かるとき、どう学ぶのでしょうか。
イメージ図(AI生成)
この章の答え試した結果の平均を更新して、試す(探索)と使う(活用)を、バランスさせます。
必要な数学確率・平均
目安読むのに約4分、そのあと図をさわります
読みもの

正解を教わらずに、試して学ぶ

これまでの学習は、正解のある問題でした。点を直線に合わせるにも、絵を見分けるにも、「正しい答え」が手元にありました。ところが、世の中には、正解が分からず、試した結果の良し悪しだけが返ってくる問題があります。そのいちばん単純な形が、この章の題材です。

3台の機械

当たりやすさの違う3台の機械があります。本当の当たり率は、A 0.3、B 0.5、C 0.7 ですが、挑戦者には分かりません。1000回引くとき、どの機械を引くかを、試した結果から決めます。これは、強化学習の、いちばん単純な形(多腕バンディット)です。

試さなければ、気づけない

もし、いつも「今の平均が最高の機械」だけを引いたら、どうなるでしょう。最初に引いた機械 A に居座り、B や C を一度も引きません。1000回引いて、当たりは293回。A の期待値 300 に近い値ですが、C だけを1000回引いた場合の期待値 700 には、遠く及びません。

今の最良を使うだけでは、もっと良いものに出会えない。

ときどき、ランダムに試す

そこで、ε の割合でランダムに選び、残りは今の最高を選ぶ方法(ε-greedy)を使います。ε=0.1 では、A 51回、B 30回、C 919回と、C に絞られ、当たりは678回でした。200通りの乱数の種で平均すると 660.3 回です。

試しすぎても、損をする

逆に、いつもランダムに選ぶ(ε=1)と、3台がほぼ均等に引かれ、当たりは482回(200通りの平均 500.8 回)に下がります。試す(探索)と、今の最良を使う(活用)のバランスが、大事なのです。強化学習は、この考え方を、行動で状況が変わる、より現実的な問題に広げたものです。

身近な「探索と活用」

試すか、使うかの選択は、身近にもあります。行きつけの店で食事をするか、新しい店を試すか。いつも同じ店なら、満足は安定しますが、もっと良い店に出会う機会を逃します。新しい店ばかりでは、外れも多くなります。この章の ε は、これまでの評価に関係なく、店をランダムに選ぶ割合にあたります。人も、無意識に、このバランスを取っています。

設計の悩み

実際の強化学習では、このバランスをどう取るかが、重要な設計になります。最初は多く試し、だんだん試す割合を減らす、といった工夫もあります。また、報酬が、行動のずっと後に届く問題では、「どの行動が良かったのか」を見極めること自体が難題になります。この章は、その最も単純な部分、探索と活用の天秤だけを、取り出して見せたものです。

手を動かして確かめる

当たりやすさの違う3台の機械があり、引くと、当たり(1)か外れ(0)が出ます。本当の当たり率は、A 0.3、B 0.5、C 0.7 ですが、挑戦者には分かりません(自作の設定)。1000回引くとき、どの機械を引くかを、試した結果から決めます。これは、強化学習の、いちばん単純な形(多腕バンディット)です。

ε を動かして、引いた回数と、当たりの合計の変化を見てください。「200通り」ボタンで、乱数の種を変えた平均も見られます。

計算を順に追う

1. 平均を覚えて、更新していく

機械ごとに、これまでの当たりの平均(推定した当たり率)を覚えます。引くたびに、その機械の平均を更新します。1つ前の平均に、新しい結果との差を、引いた回数で割って足すだけで、全部の結果を覚えなくても、平均が保てます。

新しい平均 = 古い平均 + (結果 − 古い平均) / 回数

2. いつも「今の最高」を選ぶと、居座る

ε=0(試さずに、平均が最高の機械だけ引く)では、最初に引く機械 A に居座ります(最初の平均がすべて0で、同点のときは、先頭を選ぶ設定のため)。1000回引いて、当たりは293回で、B と C は一度も引きません。種を200通り変えた平均は 302.3 回で、A の期待値 300 に近い値でした。

ε = 0:引いた回数 A 1000、B 0、C 0 当たり 293(200通りの平均 302.3)

3. ときどきランダムに試す(ε-greedy)

ε の割合でランダムに選び、残りは、今の最高の機械を選ぶ方法です。ε=0.1 では、A 51回、B 30回、C 919回と、C に絞られ、当たりは678回でした。200通りの平均は 660.3 回です。最良の機械だけを引き続けたときの期待値 700 には届きませんが、学習の途中の選択や、その後も続くランダムな選択の分だけ、期待値より下がります。

4. 試しすぎても、損をする

ε=1(いつもランダム)では、3台がほぼ同じ回数(348・334・318回)引かれ、当たりは482回(200通りの平均 500.8 回)でした。試す(探索)と、今の最良を使う(活用)の、バランスが大事です。強化学習では、この考え方を、状態が変わる問題へ広げます。

思い出しメモ 「強化学習」は、結果の良し悪し(報酬)だけを手がかりに、どう動くかを学ぶ方法の総称です。正解を教えるのとは、別の学び方です。
ひとことで言うと試した結果の平均を更新して、試す(探索)と使う(活用)を、バランスさせます。

今につながる話

強化学習は、ゲームやロボットの制御などで使われます。また、対話型のAIの調整の1つの段階で、人の評価を報酬として使う方法も知られています。この章は、その最も小さな部品の模型です。

なるほど2問

出典と確認状態

ほんとうは…(この例の限界)

この章は、状態が変わらない、最も単純な設定です。実際の強化学習は、行動で状況が変わり、報酬が遅れて来る問題を扱います。また、探索の方法は、ε-greedy 以外にも、多くの方法があります。

出典(AI照合済み)

この章の計算はすべてあなたのブラウザの中で行われ、入力や結果はどこにも送信されません。例題と数値はこのサイトのオリジナルで、実在の製品・サービスとは関係ありません。

この章で、まちがいや古くなった情報に気づいたら、報告フォームから教えてください