RLHF

報酬関数を書けないタスクという課題

強化学習を大きな問題に広げる取り組みが成功してきたのは、報酬関数がはっきり定められる分野でした。しかし実際のタスクの多くは、目標が複雑だったり、あいまいだったり、明示しにくかったりします。たとえばロボットにテーブルを片付けさせたい場合や、卵をかき混ぜさせたい場合、適切な報酬関数をどう作ればよいかは明らかではありません。この制約を乗り越えられれば、深層強化学習の影響の範囲、さらには機械学習の届く範囲が大きく広がります。

RLHF(Reinforcement Learning from Human Feedback、人間のフィードバックによる強化学習)は、この課題に対して、目標を人間の好みで与えるという考え方をとります。好みは、専門家でなくてもよい人間が、エージェントの行動を記録した軌跡の断片を2つ見比べて、どちらが良いかを選ぶことで与えます。

手法が満たそうとする4つの性質

この手法は、報酬関数がはっきり定まらない逐次的な意思決定の問題に対して、次の4つを満たす解き方を目指しています。

1. 望ましい行動を見て認識することはできても、人間が自分で実演できるとは限らないタスクを解けること
2. 専門家でない利用者でもエージェントに教えられること
3. 大規模な問題に拡張できること
4. 利用者のフィードバックを節約できること

報酬関数の学習と方策の学習を同時に進める

手法の中身は、人間のフィードバックから報酬関数を学び、その報酬関数を最適化するというものです。具体的には、人間の好みに合うように報酬関数を当てはめる作業と、その時点で予測されている報酬関数を最適化するように方策を訓練する作業を、同時に進めます。

人間には、行動に絶対的な数値のスコアを付けてもらうのではなく、エージェントの行動を映した短い動画クリップどうしを比べてもらいます。分野によっては、比較の方が人間にとって答えやすく、しかも人間の好みを学ぶうえでは点数と同じくらい役に立つことが分かりました。

短い動画クリップの比較は、個々の状態を比べるのとほぼ同じ速さでできる一方、得られる比較ははるかに有用でした。さらに、フィードバックを訓練の途中でオンラインに集め続けることで、システムの性能が上がり、エージェントが学習済みの報酬関数の弱点を突いてしまうことも防げました。

成果

この方法により、報酬関数そのものを使わずに、Atariのゲームやシミュレーション上のロボットの移動といった複雑な強化学習のタスクを解けることが示されました。人間がフィードバックを与えたのは、エージェントと環境とのやり取り全体の1%未満です。人間による監督の手間がここまで減ったことで、最先端の強化学習システムにも実用的に適用できる水準になったと述べられています。