Rainbow

DQNから始まった改良の系譜

Rainbowを理解するには、まず土台となるDQN(Deep Q-Networks)を押さえる必要があります。DQNは、Q学習に畳み込みニューラルネットワークと経験再生を組み合わせた手法です。画面の生のピクセルから学習し、多くのAtariゲームで人間並みの成績に達しました。強化学習を複雑な逐次的意思決定の問題へ広げる流れは、このDQNをきっかけに始まりました。

その後、学習の速さや安定性を高める拡張が数多く提案されました。代表的なものは次のとおりです。

• ダブルDQN(DDQN):ブートストラップに使う行動を選ぶ処理と評価する処理を切り離し、Q学習が価値を過大に見積もる偏りに対処します。
• 優先度つき経験再生:学ぶことの多い遷移をより頻繁に再生して、データ効率を高めます。
• デュエリングネットワーク:状態の価値と行動のアドバンテージを別々に表現し、行動をまたいだ汎化を助けます。
• 複数ステップの学習:A3Cでも使われている方法です。複数ステップ先までの報酬を使ったブートストラップの目標で学習し、バイアスと分散のトレードオフを変えます。新しく観測した報酬を、以前に訪れた状態へより速く伝えられます。
• 分布型Q学習:割引後のリターンの平均を推定するのではなく、その分布をカテゴリカル分布として学習します。
• ノイジーDQN:探索のために、確率的に振る舞うネットワーク層を使います。

それぞれの手法の詳しい仕組みは、各語の項目で扱います。

組み合わせられるかという問い

これらの拡張は、どれも単独で大きな性能向上をもたらしました。一方で、別々に提案されてきたため、どれとどれが補い合い、うまく組み合わせられるのかははっきりしていませんでした。Rainbowの論文はこの問題意識から出発しています。

論文の考え方は次のとおりです。各手法はまったく異なる問題に対処しており、しかも共通の枠組みの上に作られているので、組み合わせられる可能性があります。実際に、一部はすでに組み合わされていました。優先度つきダブルDQNとデュエリングダブルDQNはどちらもダブルQ学習を使っており、デュエリングダブルDQNは優先度つき経験再生とも組み合わされていました。Rainbowはこれをさらに進め、上に挙げた6つの拡張をすべて1つのエージェントに統合しました。そして、統合の方法を示したうえで、各要素がおおむね互いに補い合うことを実験で確かめました。

Atari 2600での評価結果

評価には、Arcade Learning Environmentに収められた57本のAtari 2600ゲームを使いました。比べた指標は、人間の成績を基準に正規化したスコアの57本での中央値です。Rainbowは、データ効率と最終性能の両方で最先端の結果を示しました。

論文の図では、Rainbowを、DQNと公開済みの6つのベースラインと比べています。Rainbowは7Mフレームの時点でDQNの最良の性能に追いつき、44Mフレームまでにどのベースラインも上回りました。最終的な性能も大きく改善しています。少ないデータで早く強くなり、最後にはより高い水準に届くという2つの面を同時に示した点が、この研究の成果です。