シムツーリアル

シミュレーションから現実へ移すという考え方

シムツーリアル(sim2real、Sim-to-Real Transfer)とは、シミュレーション環境で学習させたモデルや方策を、実世界(実機のロボットなど)でそのまま、あるいは最小限の追加学習だけで動かせるようにすること、つまりシミュレーションから現実への移転を指す語です。理想としては、複雑な振る舞いを表す方策をすべてシミュレーションの中で学習し、その方策を実機のロボットでわずかな追加学習だけで動かすことが目指されます。

なぜシミュレーションで学習したいのか

物理シミュレータの中でロボットの学習を行うと、実機のロボットを使う場合よりも速く、スケーラブルに、低コストでデータを集められます。これにより、機械学習がロボット工学に与える影響を加速できると期待されています。

特に深層強化学習ではこの利点が大きくなります。深層強化学習はランダムな探索を用いますが、実機でランダムに動かすことは危険な場合があります。さらに、深層強化学習は数十万から数百万ものサンプルを必要とすることが多く、実機で集めると数千時間かかることもあるため、多くの用途では現実的ではありません。シミュレーションで学習できれば、こうした危険や時間の問題を避けられます。

シムツーリアルを阻むリアリティギャップ

一方で、物理シミュレータと実世界の間には食い違いがあり、シミュレーションで学習した振る舞いを実世界へ移すことは簡単ではありません。この差をまとめてリアリティギャップ(reality gap)と呼び、シミュレーションのデータを実機のロボットで使ううえでの障壁になっています。

リアリティギャップを縮める方法の一つにシステム同定があります。これはシミュレーションのパラメータを調整して、実機の物理システムの挙動に合わせる作業ですが、時間がかかり誤りも起こりやすいものです。また、システム同定を十分に行っても、実世界には非剛体、歯車のバックラッシュ、摩耗、流体力学のように、現在の物理シミュレータでは捉えきれない物理現象が残ります。さらに、画像レンダラーのような低精度のシミュレートされたセンサは、実世界のセンサが生み出す豊かさやノイズを再現しきれないことが多くあります。

シムツーリアルの具体例

この課題に取り組んだ論文(Tobin et al.)では、非現実的なランダムなテクスチャを持つシミュレータのデータだけで訓練した物体検出器が、実世界で1.5cmの精度を持ち、邪魔になる物体や部分的な遮蔽に対しても頑健であったと報告されています。さらに、この検出器を使って、物が散らかった環境での把持も行えることが示されました。著者らは、実画像での事前学習を行わず、シミュレーションのRGB画像だけで訓練した深層ニューラルネットワークを、ロボット制御の目的で実世界へ移すことに成功したのは、著者らの知る限りこれが初めてだと述べています。

この課題に対処する具体的な手法については、ドメインランダマイゼーションの項目で扱います。