Agent57

Atariの57ゲームという課題

Atariゲームは、この10年ほど強化学習の分野で長く使われてきたベンチマークです。強化学習アルゴリズムの汎用的な能力を試すために提案されました。それまでの手法は、多くのゲームで際立って良い成績を出すことで平均としては高い性能を達成していましたが、最も難しいいくつかのゲームでは非常に悪い成績にとどまっていました。Agent57は、57本すべてのAtariゲームで標準的な人間のベンチマークを上回った最初の深層強化学習エージェントとして提案されました。

そのためにAgent57は、非常に探索志向なものから純粋に活用志向なものまでの範囲に及ぶ方策の集合をパラメータ化した1つのニューラルネットワークを訓練します。そして、訓練の過程でどの方策を優先するかを選ぶ適応的な仕組みを持ちます。さらに、より一貫した安定な学習を可能にする新しいアーキテクチャのパラメータ化も取り入れています。

土台となるNGUとその限界

Agent57は、NGU(Never Give Up)というエージェントの上に作られています。NGUは、好奇心駆動の探索と、分散深層強化学習エージェント(特にR2D2)という2つの考え方を組み合わせたものです。NGUは探索を促すために内発的報酬(intrinsic reward)を計算します。

NGUは探索の難しいゲームで大きな成果を示しましたが、最も汎用的なエージェントではありませんでした。R2D2やMuZeroがごく一部を除くゲームで強いのと同じように、NGUもR2D2を基にしながら、MuZeroやR2D2とは異なる、より小さなゲームの集合で強いという偏りを持っていました。たとえばSurroundというゲームでは、R2D2が最適なスコアを達成する一方、NGUはランダムな方策と同程度の成績しか出せません。NGUの欠点の1つは、学習の進み具合への寄与にかかわらず、それぞれの方策に従って同じ量の経験を集めてしまうことです。ゲームによって必要な探索の度合いは大きく異なります。

Agent57による改良

1つ目の改良は、エージェントの一生を通じてNGUが探索戦略を適応させられるようにし、学習中の特定のゲームに特化できるようにしたことです。論文はこれを、NGUをより汎用的なエージェントにするための最初の重要な改良と位置づけています。

2つ目は、長期的なクレジット割り当ての問題への対処です。NGUは、SkiingやSolarisのようにこの問題を抱えるゲームでHNS 100%に届きませんでした。Agent57では、訓練全体の安定性を高めること、割引率を動的に調整すること、時間方向の逆伝播の窓を広げることで対処しています。論文は、これらが先行研究の方法に比べて比較的単純な変更でありながら効果的だったと述べています。

論文がまとめる3つの貢献

1. 内発的報酬と外発的報酬の寄与を分解する、状態行動価値関数の新しいパラメータ化。これにより、広い範囲の内発的報酬の大きさにわたって訓練の安定性が大きく向上しました。
2. メタコントローラー。探索率と割引率でパラメータ化された方策のうち、どれを訓練の過程で優先するかを選ぶ適応的な仕組みです。探索と活用のどちらにより多くの資源を割くかを制御し、両者のトレードオフを調整できます。
3. 57本すべてのAtariゲームで、人間の基準を上回る性能を初めて示したこと。