REINFORCE

REINFORCEは、強化学習における方策勾配法の一種です。エージェントがとる行動の確率を直接最適化することで、報酬の最大化を目指します。価値ベースの手法であるQ学習とは異なり、行動そのものの確率を更新していく点が大きな特徴です。

仕組みとしては、エピソードの終了まで行動を行い、得られた合計報酬を用いて方策の勾配を計算します。報酬が高かった行動については、その行動を選択する確率が高くなるように方策を更新します。エピソードが終わるまで学習が進まないという特性上、収束までには多くの試行が必要になる場合があります。

G検定では、強化学習のアルゴリズム分類の中で問われます。価値ベースのQ学習やDQNとの違い、そして方策勾配法というカテゴリーに含まれることを理解しておくことが重要です。また、連続的な行動空間を扱う問題にも適用できるといった、方策勾配法特有のメリットについても知識を整理しておきましょう。