正解を教わらずに、試して学ぶ
これまでの学習は、正解のある問題でした。点を直線に合わせるにも、絵を見分けるにも、「正しい答え」が手元にありました。ところが、世の中には、正解が分からず、試した結果の良し悪しだけが返ってくる問題があります。そのいちばん単純な形が、この章の題材です。
3台の機械
当たりやすさの違う3台の機械があります。本当の当たり率は、A 0.3、B 0.5、C 0.7 ですが、挑戦者には分かりません。1000回引くとき、どの機械を引くかを、試した結果から決めます。これは、強化学習の、いちばん単純な形(多腕バンディット)です。
試さなければ、気づけない
もし、いつも「今の平均が最高の機械」だけを引いたら、どうなるでしょう。最初に引いた機械 A に居座り、B や C を一度も引きません。1000回引いて、当たりは293回。A の期待値 300 に近い値ですが、C だけを1000回引いた場合の期待値 700 には、遠く及びません。
今の最良を使うだけでは、もっと良いものに出会えない。
ときどき、ランダムに試す
そこで、ε の割合でランダムに選び、残りは今の最高を選ぶ方法(ε-greedy)を使います。ε=0.1 では、A 51回、B 30回、C 919回と、C に絞られ、当たりは678回でした。200通りの乱数の種で平均すると 660.3 回です。
試しすぎても、損をする
逆に、いつもランダムに選ぶ(ε=1)と、3台がほぼ均等に引かれ、当たりは482回(200通りの平均 500.8 回)に下がります。試す(探索)と、今の最良を使う(活用)のバランスが、大事なのです。強化学習は、この考え方を、行動で状況が変わる、より現実的な問題に広げたものです。
身近な「探索と活用」
試すか、使うかの選択は、身近にもあります。行きつけの店で食事をするか、新しい店を試すか。いつも同じ店なら、満足は安定しますが、もっと良い店に出会う機会を逃します。新しい店ばかりでは、外れも多くなります。この章の ε は、これまでの評価に関係なく、店をランダムに選ぶ割合にあたります。人も、無意識に、このバランスを取っています。
設計の悩み
実際の強化学習では、このバランスをどう取るかが、重要な設計になります。最初は多く試し、だんだん試す割合を減らす、といった工夫もあります。また、報酬が、行動のずっと後に届く問題では、「どの行動が良かったのか」を見極めること自体が難題になります。この章は、その最も単純な部分、探索と活用の天秤だけを、取り出して見せたものです。
