方策勾配法

方策をパラメータthetaで表して学習する

方策勾配法は、行動を選ぶ規則である方策を、パラメータthetaを持つ形 pi(a|s,theta) で表し、そのthetaを学習する手法です。学習した方策は、価値関数を参照しなくても行動を選べます。

性能指標J(theta)を大きくする方向にthetaを動かす

方策の良さは、方策のパラメータに対するスカラーの性能指標J(theta)で測ります。方策勾配法は、このJ(theta)を最大化することを目指します。そのため、thetaの更新はJの勾配上昇を近似する形になります。学習率をalphaとすると、更新式は次のとおりです。

theta_(t+1) = theta_t + alpha*grad J(theta_t)

grad J(theta_t) は、J(theta)をthetaで微分した勾配です。勾配の方向にthetaを少しずつ動かすと、性能指標J(theta)が大きくなる方向へ方策が更新されます。

方策勾配法という名前が指す範囲

方策勾配法は、特定の1つのアルゴリズムの名前ではありません。上の更新式の一般的な枠組みに従う手法すべてをまとめて、方策勾配法と呼びます。REINFORCEやアクタークリティックは、この枠組みに入る具体的な手法です。仕組みの詳細は、それぞれの用語で扱います。

方策と価値関数の両方を学ぶ手法はアクタークリティックと呼ばれる

方策勾配法の中には、方策の近似と価値関数の近似の両方を学習する手法があります。このような手法は、アクタークリティック法と呼ばれることが多いです。アクターは学習する方策を、クリティックは学習する価値関数を指します。クリティックが学習する価値関数は、多くの場合、状態価値関数です。

G検定シラバス2024での位置づけ

方策勾配法は、G検定シラバス2024の中項目9. 強化学習のキーワードの1つです。同じ中項目には、マルコフ決定過程・割引率・状態価値関数・行動価値関数・Q学習・SARSA・REINFORCE・Actor-Critic・バンディットアルゴリズム・ε-greedy方策・UCB方策が並んでいます。