APE-X

行動と学習を分ける分散アーキテクチャ

APE-X(Ape-X)は、Horganらが論文 Distributed Prioritized Experience Replay で提案した、大規模なスケールで深層強化学習を行うための分散アーキテクチャです。論文は、従来より桁違いに多くのデータからエージェントが効果的に学べるようにすることを目標に掲げています。

中心となる考え方は、行動することと学習することを切り離す点です。行動を担うアクターは、共有されたニューラルネットワークに従って行動を選び、それぞれ自分専用の環境インスタンスと対話します。得られた経験は、共有の経験リプレイメモリに蓄積されます。一方、学習を担う学習者は1つだけで、このメモリから経験のサンプルを再生してニューラルネットワークを更新します。

土台となる優先度つき経験再生

APE-Xは、優先度つき経験再生(prioritized experience replay)を土台にしています。優先度つき経験再生は、古典的な prioritized sweeping の考え方を、深層ニューラルネットワークによる関数近似でも使えるように広げた手法です。Prioritized Dueling DQN、UNREAL、DQfD、Rainbow など多くのエージェントで使われてきました。いくつかのアルゴリズム上の要素の相対的な重要度を調べたアブレーション実験では、優先度づけがエージェントの性能に最も大きく貢献する要素だと分かっていました。

APE-Xは、この優先度つき経験再生を分散設定へ拡張し、スケールさせるためのいくつかの重要な変更を加えたものです。アクターが生み出す大量のデータのうち、最も重要なデータだけに学習を集中させるために、優先度づけが使われます。

アーキテクチャの流れ

論文は構造を次のようにまとめています。

• 複数のアクターが、それぞれ自分の環境インスタンスで経験を生成し、共有のリプレイメモリに追加するとともに、そのデータの初期の優先度を計算します。
• 1つの学習者が、このメモリからサンプリングし、ネットワークと、メモリ内の経験の優先度を更新します。
• アクターのネットワークは、学習者から最新のネットワークパラメータを定期的に受け取って更新されます。

優先度の初期値をアクター側で計算しておく点が、この流れの特徴です。

多様な方策と一般性

DQNと組み合わせた Ape-X DQN では、各アクターが異なる方策を実行します。実験では、アクターごとに epsilon の値が異なる epsilon-greedy 方策を使いました。epsilon の低い方策は環境のより深いところまで探索でき、epsilon の高い方策は過度な特化を防ぎます。こうして多様な戦略から経験を集め、その中から最も効果的な経験を優先度づけの仕組みで選び出します。

枠組みの一般性を確かめるため、論文は決定論的方策勾配の実装である DDPG にもとづく連続行動の方策勾配システムとも組み合わせ、DeepMind Control Suite の連続値制御タスクで試しています。Arcade Learning Environment では最先端の成績を大きく改善し、より短い実時間の学習でより高い最終性能を達成したと報告されています。評価の図では、360のアクターを使った Ape-X DQN が A3C と比べられています。