残差強化学習

既存の制御手法に対して、学習によって得られた差分である残差を加えて性能を向上させる強化学習の手法です。ゼロからすべてを学習するのではなく、すでに知られている安定した制御則をベースにすることで、学習の効率と安全性を高めます。

具体的には、従来の制御器が出す動作に、ニューラルネットワークが学習した修正量を加算します。もし学習が不十分でもベースとなる制御器が動作を補うため、ロボット制御などにおいて失敗を避ける必要があるタスクで有効です。従来の知識を活かしつつ、未知の環境や複雑な状況に適応できます。

G検定では、強化学習の応用先や、学習の安定化手法としての文脈で重要です。一から学習をやり直す必要がないため、実機での強化学習において、機体の破損リスクを抑えながら学習を進めるための技術として理解しておく必要があります。