デュエリングネットワーク

状態価値とアドバンテージを分けて推定する構造

デュエリングネットワーク(Dueling Network)は、Wangらの論文 Dueling Network Architectures for Deep Reinforcement Learning で提案された、モデルフリー強化学習のための新しいニューラルネットワークアーキテクチャです。最大の特徴は、2つの別々の推定器を持つことです。1つは状態価値関数を推定し、もう1つは状態に依存する行動のアドバンテージ関数を推定します。

ネットワークの前半には共通の畳み込み特徴学習モジュールがあり、画面などの入力から特徴を取り出す部分は2つの推定器で共有されます。その後、価値関数を表すストリームとアドバンテージ関数を表すストリームの2本に分かれます。最後に2本のストリームは特別な集約層で組み合わされ、状態行動価値関数Qの推定値が出力されます。つまり、出力されるものは通常のQ値と同じで、内部の表現の仕方だけが変わっています。

アドバンテージ関数の意味

アドバンテージ関数は、価値関数VとQ関数を結び付ける量として、A(s, a) = Q(s, a) - V(s) と定義されます。価値関数Vは、ある状態sにいることがどれだけ良いかを測ります。これに対してQ関数は、その状態で特定の行動を選ぶことの価値を測ります。Q関数から状態の価値を差し引くことで、各行動の重要性を相対的に表す尺度が得られます。これがアドバンテージ関数です。

分離による利点

状態価値と行動のアドバンテージを分ける主な利点は、基盤となる強化学習アルゴリズムには何の変更も加えずに、行動をまたいだ学習の汎化ができることです。状態そのものの良し悪しは、どの行動を選んだかに関係なく価値のストリームで共通に学習されます。論文の結果では、この構造は似たような価値を持つ行動が多い場面で、より良い方策評価につながることが示されました。さらに、この構造を使ったエージェントは、Atari 2600ドメインで当時の最先端の性能を上回りました。

識別可能性の問題と集約層の工夫

2本のストリームを単純に足し合わせて Q = V + A とするだけでは問題が生じます。与えられたQから、VとAを一意に復元できないのです。たとえばV(s)にある定数を足し、A(s, a)から同じ定数を引いても、定数は打ち消し合って同じQ値になります。論文では、この識別可能性の欠如が、この式をそのまま使ったときの実用上の性能の悪さとして表れると述べています。

この問題に対処するため、選ばれた行動でのアドバンテージがゼロになるようにアドバンテージ関数の推定器に強制します。具体的には、ネットワークの最後のモジュールで、Q(s, a) = V(s) + (A(s, a) - その状態で取りうる行動a'についてのA(s, a')の最大値) という計算を行います。アドバンテージから最大のアドバンテージを差し引くことで、最良の行動ではアドバンテージがゼロになり、VとAの役割がはっきり定まります。