深層強化学習

定義

深層強化学習とは、試行錯誤を通じて環境から得られる報酬を最大化する強化学習の枠組みにおいて、状態の価値や行動の選択基準の表現にディープニューラルネットワークを利用する機械学習技術です。

従来の強化学習は、すべての状態と行動の組み合わせに対する価値を表形式のデータとして記録していました。しかし、ゲーム画面の画像のように入力が連続的かつ膨大になると、状態の組み合わせが天文学的な数に達して計算機に保持できなくなる次元の呪いが生じます。深層強化学習は、画面の画像などの高次元データをニューラルネットワークに入力し、直接行動の価値や選ぶべき行動を出力させることで、この状態爆発の問題を解決しました。

内訳

深層強化学習は、ニューラルネットワークが何を直接近似するかによって大きく3つに分かれます。

• 価値ベースの手法: 状態と行動の組み合わせに対して将来得られる期待報酬の合計を出力します。代表例であるDQNは、畳み込みニューラルネットワークを用いてゲームの画面画像から各操作のQ値を直接推定します。実務の実装では、連続する時系列データの相関を断ち切るために過去の遷移データを蓄積してランダムに抽出して学習する経験再生と、学習目標となるQ値の急激な変動を防ぐために計算用の重みを一定ステップ固定するターゲットネットワークという2つの工夫が不可欠です。
• 方策ベースの手法: 状態の入力を受け取り、各行動を選択する確率分布を直接出力します。ロボットの関節角度制御のように、行動が連続値をとる実務課題に適しています。
• アクタークリティック法: 行動を選択する方策ネットワークと、その行動の価値を評価する価値ネットワークを独立して持ち、互いに連携させながら学習を進めます。方策勾配の分散を抑えて安定して学習できるため、現在の標準的なアルゴリズムの多くはこの構造を採用しています。

実務の開発では、エージェントが望ましい行動を獲得するまでに数百万回以上の試行錯誤が必要となるサンプル非効率性が最大の障壁です。実機ロボット等で直接試行すると装置の破損や安全性のリスクが生じるため、物理シミュレータ上で大量に事前学習させてから現実環境へ転移させるシムツーリアル技術が広く活用されています。

紛らわしい語との違い

深層強化学習と教師あり学習は、どちらもニューラルネットワークを用いますが学習の手がかりが異なります。教師あり学習では入力データに対して正解ラベルが明示的に与えられるのに対し、深層強化学習では正解が与えられず、行動の結果として遅れて返される報酬を手がかりに最適な行動を探索します。

また、価値ベースの手法と方策ベースの手法も明確に区別されます。価値ベースの手法は行動ごとの価値を推定して最も価値の高い行動を選択するのに対し、方策ベースの手法は行動の選択確率そのものを直接出力するため、連続的な行動空間を扱う課題にも適しています。