ばりゅー

バリュー

Value

強化学習において、ある状態や行動をとった際に、将来にわたって得られる報酬の合計期待値です。Q学習などの手法において、行動を選択する際の重要な判断基準となります。

詳しい説明

バリューとは、強化学習においてある状態や行動がどれだけ報酬をもたらすかを示す、価値の指標です。単に今すぐ得られる報酬だけでなく、将来にわたって得られる報酬の合計に対する期待値を指します。

強化学習の代表的な手法であるQ学習では、この価値を「行動価値」として学習します。エージェントは、行動価値関数を用いて、どの行動をとれば将来的に最も高い報酬を得られるかを判断し、行動を選択します。

報酬が「その場でもらえる結果」であるのに対し、バリューは「その結果を含めた将来の展望」という点が異なります。G検定では、報酬とバリューの関係性や、Q学習における価値の更新式がどのようなロジックかを問う問題が見られます。