Actor-Critic

Actor-Criticとは、強化学習において行動を選択する「Actor（役者）」と、その行動を評価する「Critic（批評家）」という2つのモデルを協調させて学習を行う手法です。方策勾配法の安定化を図るためのアーキテクチャとして知られています。

Actorは現在の状態に対して最適な行動を選択し、Criticは得られた報酬や状態価値を予測してActorの行動を評価します。Criticの評価をフィードバックすることで、Actorはより報酬を得やすい行動へと改善を繰り返します。この評価の仕組みにより、純粋な方策勾配法よりも学習が安定しやすくなります。

G検定では、方策勾配法やQ学習との違いや、それぞれの役割分担が重要です。方策を直接改善するActorと、価値関数を推定して学習を導くCriticが組み合わさる構造を理解し、A3Cなどの発展的な強化学習手法の基礎概念として把握しておく必要があります。