PPO

PPOは、OpenAIが開発した強化学習アルゴリズムで、方策勾配法の一種です。学習の安定性と効率性のバランスに優れており、現在の強化学習において標準的なアルゴリズムとして広く利用されています。

方策（AIの行動ルール）を更新する際に、前回の更新との乖離が大きくならないように制約を設けることで、学習が急激に崩壊するのを防ぎます。実装が比較的容易で、かつ高い性能が出るため、ロボット制御や大規模言語モデルの調整などに使われます。

Q学習や従来の方策勾配法との違いが重要です。G検定では、強化学習の主要な手法の1つとして、安定性が高いという特徴が問われます。