状態価値関数

状態価値関数とは、強化学習において、ある状態がどれほど「良い」かを数値化した指標です。特定の状態からスタートして、将来にわたって得られる報酬の合計の期待値を表します。エージェントが、どの状態にいることがより高い報酬につながるのかを判断する基準となります。

仕組みとしては、ベルマン方程式に基づき、現在の状態の価値を、その後の状態の価値と得られる報酬から再帰的に定義します。学習が進むにつれて、この価値関数がより正確な期待値を予測するように更新されます。価値の高い状態に到達するような方策を選択することが、学習の目標となります。

行動価値関数との混同に注意してください。状態価値関数は「その状態にいることの良さ」を示し、行動価値関数（Q関数）は「その状態で特定の行動をとることの良さ」を示します。G検定では、強化学習のアルゴリズムを評価・比較する文脈で、これらの概念の違いが問われることがあります。