状態価値関数

方策 pi のもとでの状態の価値

状態価値関数は、状態 s の価値を、方策 pi を前提にして数で表す関数です。Sutton と Barto の教科書 Reinforcement Learning: An Introduction 第2版(2018年)の第3章 §3.5 では、方策 pi のもとでの状態 s の価値を v_pi(s) と書き、s から始めてその後 pi に従い続けたときの期待収益として定義しています。この関数 v_pi を、方策 pi に対する状態価値関数(state-value function for policy pi)と呼びます。

定義式の読み方

状態価値関数は次の式で表されます(同書の式3.12)。

v_pi(s) = E_pi[Gt | St=s] = E_pi[Σ(k=0 から ∞) gamma^k Rt+k+1 | St=s](S に含まれるすべての s について)

式の各部分は次のとおりです。

• St=s は、時刻 t の状態が s であることを条件にしていることを表します。
• Gt は時刻 t からの収益で、右辺では Rt+k+1 に割引率 gamma の k 乗を掛け、k=0 から無限大まで足し合わせた形で書かれています。
• E_pi は、エージェントが方策 pi に従うとしたときの期待値を表します。

つまり v_pi(s) は、状態 s から出発して pi に従い続けた場合の、割引された収益の期待値です。

方策 pi が決まってはじめて値が決まる

ここでの方策 pi は、状態から、選べる各行動を選ぶ確率への写像です。状態価値関数は E_pi という形で pi に従うことを前提にしているため、同じ状態 s でも、どの方策 pi を考えるかを決めなければ v_pi(s) は定まりません。下付きの pi は、どの方策についての価値かを示しています。

終端状態の価値

同書では、終端状態の価値は常に0であることも明記されています。

強化学習の中での位置づけ

G検定シラバス2024では、状態価値関数は中項目9. 強化学習のキーワードに挙げられています。同じ中項目には、マルコフ決定過程・割引率・行動価値関数・Q学習・SARSA・方策勾配法・REINFORCE・Actor-Critic・バンディットアルゴリズム・ε-greedy方策・UCB方策が並んでいます。状態価値関数と対になる概念として、行動価値関数があります。