残差強化学習

従来の制御と強化学習の長所と短所

従来のフィードバック制御手法は、剛体の運動方程式のような明示的なモデルで問題の構造を捉えることで、さまざまなロボット制御の問題をとても効率よく解けます。しかし、現代の製造現場の制御問題の多くは接触や摩擦を伴います。接触や摩擦は1次の物理モデリングでは捉えにくいため、こうした問題に制御設計の方法をそのまま当てはめると、脆く不正確な制御器になりやすく、実際に動かすには人手で調整しなければなりません。

強化学習(RL)は、エージェントが周囲の環境との相互作用を通じて行動を学ぶ手法で、理想的には制御設計の段階で想定した条件と異なる新しい場面にも汎化できる可能性を持ちます。また、制御の目標を制御アクションの結果として明示的に指定するのではなく、報酬関数の項として間接的に指定できるため、従来の制御器では取り組みにくい問題も扱えます。一方で、標準的な強化学習ではロボットが実際の相互作用を通じて学ぶ必要があり、学習の初期には安全でないことがあります。さらに、複雑な技能をゼロから学ぶのに必要な量の相互作用を集めるには時間がかかります。

問題を二つに分けて解くという考え方

残差強化学習は、この二つの長所を組み合わせるために、制御問題を二つの部分に分解します。問題の一部は、インピーダンス制御のような従来のフィードバック制御で部分的に扱える構造を持っています。そこで、その部分は従来の制御手法で効率よく解き、接触や外部の物体の力学を考慮しなければならない残りの部分、つまり残差を強化学習で解きます。最終的な制御方策は、両方の制御信号を重ね合わせたものになります。

制御則の形

具体的には、制御アクション u を次のように決めます。

u = pi_H(s_m) + pi_theta(s_m, s_o)

ここで pi_H(s_m) は人が設計した制御器で、pi_theta(s_m, s_o) はパラメータ theta を持つ学習される方策です。後者は、課題における期待収益を最大化するように強化学習のアルゴリズムで最適化されます。要点は、固定された人手設計の制御器に、学習可能なパラメータ付きの方策を足し算で組み合わせることで、従来の制御器の効率と強化学習の柔軟性を両立させることです。強化学習はゼロからすべてを学ぶのではなく、人が設計した制御器では足りない部分を補う役割を担います。

ブロック組み立て課題での検証

この手法は、接触と不安定な物体を伴うブロックの組み立て課題で、シミュレーションと実世界の両方で評価されました。環境は、7自由度の Sawyer ロボットアームと平行グリッパーで構成されます。ロボットの前にある台の上に、上部に斜めの角を持つ2つのブロックが立てて置かれ、その間にブロックを挿入できる十分な隙間が設けられます。この隙間が目標位置です。論文では、エージェントを訓練して、この実世界のブロック組み立て課題を成功させられることを示しました。