SARSA

SARSAという名前の由来

SARSAは、強化学習のTD制御法の一つです。更新には、ある状態と行動の組から次の状態と行動の組へ移る1回の遷移を構成する、次の5つの要素をすべて使います。

• St: 現在の状態
• At: 現在の状態で選んだ行動
• Rt+1: 行動の結果として得た報酬
• St+1: 次の状態
• At+1: 次の状態で選んだ行動

この5つ組(St,At,Rt+1,St+1,At+1)の頭文字を並べたものが、SARSA(Sarsa)という名前の由来です。

行動価値Q(s,a)を更新する式

SARSAの更新式は次のとおりです。

Q(St,At) ← Q(St,At) + alpha[Rt+1 + gamma*Q(St+1,At+1) - Q(St,At)]

• alpha は学習率、gamma は割引率です。
• 角括弧の中は、報酬と次の状態・行動の組の価値から作った値 Rt+1 + gamma*Q(St+1,At+1) と、いまの推定値 Q(St,At) との差です。
• この差に alpha を掛けた分だけ Q(St,At) を修正します。

式の中で次の状態の価値として使うのは、次に選んだ行動 At+1 の行動価値 Q(St+1,At+1) です。5つ組の最後の要素 At+1 が更新に入ることが、この式の特徴です。

方策オン型のTD制御法としての位置づけ

SARSAは方策オン型(on-policy)のTD制御法です。状態価値関数v_piを学習するTD法と本質的に同じ方法を、状態と行動の組の価値、つまり行動価値関数Q(s,a)の学習に当てはめたものです。状態価値ではなく行動価値を学習するので、その値をもとに行動を決める制御の問題に使えます。

Q学習との違いを見る観点

Q学習も、同じ強化学習の中で行動価値関数を扱う手法です。一般にQ学習は方策オフ型の手法として知られており、SARSAが方策オン型であることは、両者を区別する観点の一つです。SARSAの更新式が次の行動At+1の行動価値Q(St+1,At+1)を使う点を押さえておくと、方策オン型という性質と結び付けて整理できます。