行動価値関数

状態と行動の組に価値を与える関数

行動価値関数は、ある方策 pi のもとで、状態 s において行動 a を取ることの価値を表す関数です。記号では q_pi(s,a) と書きます。

その価値は、状態 s から出発して行動 a を取り、その後は方策 pi に従って行動し続けたときに得られる収益の期待値として定義されます。Sutton と Barto の教科書では、q_pi を方策 pi に対する行動価値関数(action-value function)と呼んでいます。

定義式の読み方

行動価値関数は次の式で定義されます。

q_pi(s,a) = E_pi[Gt | St=s, At=a] = E_pi[Σ(k=0 to ∞) gamma^k Rt+k+1 | St=s, At=a]

式の各部分は次の意味を持ちます。

• Gt は時刻 t 以降に得られる収益です。2つ目の等号の右側にあるように、Rt+1, Rt+2, ... に gamma^0, gamma^1, ... を掛けて足し合わせたものです。
• gamma は割引率です。k 時刻先の Rt+k+1 には gamma^k が掛けられます。
• St=s, At=a は、時刻 t の状態が s であり、その時刻に取った行動が a であるという条件です。
• E_pi は、方策 pi に従って行動したときの期待値を表します。

つまり q_pi(s,a) は、状態 s と行動 a の組を条件にしたときの、割引された収益の期待値です。

最初の行動だけは方策に従わない

定義で行動 a を指定しているのは、時刻 t の最初の1回だけです。その後の行動は方策 pi に従って選ばれます。

このため q_pi(s,a) は、最初の行動を a に固定した場合の価値を表します。同じ状態 s でも、取る行動 a が違えば q_pi(s,a) の値は別々に定まります。

添え字 pi が示す方策への依存

方策 pi は、状態から、取りうる各行動を選ぶ確率への写像です。行動価値関数は行動 a を取った後に方策 pi に従うことを前提に定義されているので、その値は方策 pi によって決まります。記号 q_pi の添え字 pi は、どの方策のもとでの価値かを示しています。

強化学習の中での位置づけ

行動価値関数には、対になる概念として状態価値関数があります。また、Q学習は行動価値関数の考え方を土台にした手法です。Q学習の仕組みそのものは、Q学習の項目で扱います。