オフライン強化学習

あらかじめ集めたデータだけで学ぶ強化学習

オフライン強化学習とは、追加でオンラインにデータを集めることなく、あらかじめ集められたデータだけを使う強化学習アルゴリズムのことです。大規模なデータセットを、意思決定を行う強力な仕組みに変えられる可能性を持つとして、大きな期待が寄せられています。

通常の強化学習では、エージェントが環境と対話して経験を集め、その経験を使って方策を改善するという手順を繰り返します。経験を集めるときには、たいていその時点で最新の方策が使われます。しかし多くの場面では、このようなオンラインでの対話は現実的ではありません。ロボティクスや教育エージェント、医療のようにデータ収集が高価な領域や、自動運転や医療のようにデータ収集が危険な領域があるためです。さらに、オンラインで対話できる領域であっても、領域が複雑で効果的な汎化のために大規模なデータセットが必要な場合には、過去に集めたデータを活用したいことがあります。

静的データセットからの学習という問題設定

オフライン強化学習は、強化学習の問題をデータ駆動で定式化したものといえます。エージェントはもはや環境と対話し、行動方策を使って新たな遷移を集めることができません。その代わりに、学習アルゴリズムには遷移を集めた静的なデータセットが与えられ、このデータセットだけを使ってできる限り良い方策を学ばなければなりません。

この定式化は教師あり学習の問題設定によく似ており、データセットを方策の訓練データとみなすことができます。つまりオフライン強化学習では、固定されたデータセットだけからMDPの背後にある力学系を十分に理解し、実際にそのMDPと対話したときに可能な限り大きな累積報酬を得られる方策を作り上げる必要があります。

反実仮想の問いと分布シフト

オフライン強化学習の、より微妙でありながら実用上より重要な難しさは、その核心が反実仮想の問いを立てて答えることにある点です。反実仮想の問いとは、直観的には、もしこうしていたらどうなっていたか、という問いです。エージェントがデータに現れた行動とは異なる行動をとったら何が起こりうるかについて、仮説を立てる必要があります。学習した方策にデータセットの振る舞いより良い成果を出させたいなら、何らかの形でデータとは違う行動の系列を実行しなければならないため、これはオフライン強化学習では避けられません。

こうした反実仮想の問いを難しくする根本的な原因が分布シフトです。方策や価値関数、モデルといった関数近似器は、ある分布のもとで訓練されるのに、別の分布のもとで評価されてしまいます。その原因は、新しい方策によって訪れる状態が変わることと、より微妙には、期待収益を最大化するという行為そのものにあります。分布シフトへの対処法はいくつかあり、最も単純なのは学習過程の何かを制約して分布シフトの大きさを抑えることです。たとえば、学習した方策が行動方策からどれだけ異なるかを制約すれば、状態の分布シフトを抑えることができます。