オフライン強化学習

事前に収集されたデータセットのみを使用して学習を行う強化学習の手法です。環境との直接的な試行錯誤を必要としないことが最大の特徴です。

仕組みとして、従来の強化学習は環境と相互作用しながら学習しますが、オフライン強化学習は固定されたログデータから方策を学習します。環境への負荷や失敗のリスクがある場合に、安全に学習を進められるため有効です。

G検定での視点としては、シミュレーションと実世界での学習コストを削減する手法として位置づけられます。探索を行わないため、データセットの品質が方策に直結する点や、分布の変化に対する頑健性といった課題が重要視されます。