強化学習

状況から行動への対応づけを報酬から学ぶ

強化学習の教科書『Reinforcement Learning: An Introduction』(第2版・2018年)で、著者のリチャード・S・サットン(Richard S. Sutton)とアンドリュー・G・バート(Andrew G. Barto)は、強化学習を「何をすべきかを学ぶこと」と説明しています。より具体的には、いまどんな状況にあるかに応じてどの行動をとるかという対応づけ方について、数値で与えられる報酬の信号が最大になるように学ぶことです。

学習する側には、どの行動をとるべきかが前もって教えられません。どの行動が多くの報酬につながるかは、実際に行動を試して見つけるしかありません。

試行錯誤と遅れて届く報酬

サットンとバートは、強化学習を他の方法と分ける最も重要な特徴として2つを挙げています。1つは試行錯誤です。いろいろな行動を試し、その結果として返ってくる報酬から、どの行動が良かったかを探ります。

もう1つは遅延報酬です。ある行動の良し悪しは、すぐに返ってくる報酬だけでは決まりません。その行動が次の状況を変え、さらにその後に得られる報酬にも影響するからです。

仮に、ボードゲームを指すプログラムに強化学習をさせる場面を考えます。勝ちに報酬を与える設定にすると、序盤の一手が良かったかどうかは、対局が終わって勝敗がつくまで分かりません。プログラムは何局も試しながら、あとで勝ちにつながった手を見分けていく必要があります。これが、試行錯誤と遅延報酬が組み合わさった状況です。

教師あり学習との違い

教師あり学習は、知識のある外部の教師が用意したラベル付きの訓練例から学びます。訓練例のそれぞれに、その状況でとるべき正しい答えが添えられています。

強化学習には、そうした正解の一覧がありません。学習する側は、自分が行動した経験とそこから得た報酬をもとに学びます。何が正しい行動かは、行動した結果として受け取る報酬を通じて間接的に分かるだけです。

教師なし学習との違い

教師なし学習は、ラベルの付いていないデータに潜む構造を見つけることを目的とします。強化学習もラベルのない状態で学ぶため、教師なし学習の一種と考えたくなるかもしれません。

しかし、強化学習の目的は報酬の信号を最大にすることであり、データの構造を見つけることではありません。構造が分かれば役立つことはありますが、それだけでは報酬を最大にするという強化学習の問題は解けません。このためサットンとバートは、強化学習を教師あり学習・教師なし学習と並ぶ第三の機械学習の枠組みとして位置づけています。

強化学習を形づくる4つの要素

サットンとバートは、学習する側と環境のほかに、強化学習の仕組みを形づくる主な要素として次の4つを挙げています。

方策(policy)は、ある状況に置かれたときにどの行動をとるかを決める対応づけです。強化学習で最終的に学びたいのはこの方策です。

報酬信号(reward signal)は、各時点で環境から学習する側へ送られる1つの数値です。その時点で何が良く何が悪いかは、この数値がその場で示します。

価値関数(value function)は、長い目で見て何が良いかを示します。目先の報酬が小さくても、その後に大きな報酬が続く状況は価値が高くなります。

環境のモデル(model)は、環境がどう振る舞うかを模したもので、ある状況で行動したら次にどうなるかを予測するのに使います。モデルを使って先を見通す方法もあれば、モデルを持たず試行錯誤だけで学ぶ方法もあり、この要素は必須ではありません。

報酬と価値を取り違えない

強化学習を学ぶときに混同しやすいのが、報酬と価値の違いです。報酬はその時点で環境から受け取る数値で、価値はそこから先に得られる報酬まで含めた長い目での見込みです。

先のボードゲームの例を少し変えて、相手の駒を取るたびに小さな報酬を与える設定にしたとします。駒を取って目先の報酬を得る手が、数手先で負けにつながることがあります。その時点の報酬だけを見て行動を選ぶと、こうした手を良い手と誤って判断してしまいます。強化学習が遅延報酬を扱う方法であることを思い出すと、価値という考え方が必要になる理由が分かります。