連続値制御

連続値制御という問題設定

連続値制御とは、エージェントが選ぶ行動が、有限個の選択肢の中からどれか1つを選ぶものではなく、連続的な値そのものになる強化学習の問題設定です。たとえばAtariのようなゲームでは、上下左右やボタンを押すといった決まった数の操作から1つを選べば済みます。これを離散的な行動空間と呼びます。一方、ロボットの関節にどれだけの力やトルクをかけるかを決める場面では、行動は実数の値であり、取りうる値は無数にあります。これが連続的な行動空間で、この種の制御を扱うのが連続値制御です。

価値ベース手法が向かない理由

DQNのような価値ベースの手法は、行動ごとの価値を見積もり、その中で最大のものを選ぶことで行動を決めます。選択肢が有限個であれば、すべての行動の価値を並べて比べることができます。しかし行動が連続的な値になると、候補が無数にあるため、すべてを比べて最大を選ぶというやり方をそのまま使えません。PPOの論文も、DQNはArcade Learning Environmentのような離散的な行動空間を持つゲーム環境ではよく機能する一方で、OpenAI Gymなどの連続制御ベンチマークでよい性能を示したことは確認されていないと指摘しています。

方策勾配系の手法による成功例

これに対して、方策そのものを学習する方策勾配系の手法は、連続的な行動へ自然に拡張できます。A3C(asynchronous advantage actor-critic)の論文は、行動空間が連続的なタスク群で実験を行いました。対象は接触力学を伴う剛体の物理ドメインで、物体の操作や移動(locomotion)の例を多く含み、MuJoCo物理エンジンでシミュレートされたものです。著者らは、価値ベースの手法と違って連続的な行動へ容易に拡張できるという理由から、この実験ではA3Cだけを評価しました。その結果、物理的な状態を入力にした場合でも画素を入力にした場合でも、すべての問題で24時間未満の学習でよい解を見つけ、多くは数時間以内で済んだと報告されています。論文はA3Cが多様な連続的運動制御タスクを習得したとし、離散と連続の両方の行動空間で成功したことを、その汎用性の根拠に挙げています。

PPOの論文も、シミュレートされたロボットの移動を含むベンチマークタスクで手法を評価しました。連続制御タスクにおいて、PPOは比較対象のアルゴリズムより良い性能を示したと報告されています。

離散制御との違いを押さえる

連続値制御を理解する要点は、行動空間の形が手法の選び方を左右するという点です。離散的な行動空間では行動ごとの価値を比べる価値ベースの手法が使えますが、連続的な行動空間では方策を直接学ぶ方策勾配系の手法が有力になります。A3CやPPOの具体的な仕組みはそれぞれの語で扱います。