状態表現学習

状態表現学習とは

表現学習は、データを特徴づける抽象的な特徴を学ぶアルゴリズムの総称です。状態表現学習(State Representation Learning、SRL)は、その中でも特定の種類の表現を学ぶことに焦点を当てた分野です。学習される特徴には3つの性質があります。1つ目は低次元であること、2つ目は時間とともに変化すること、3つ目はエージェントの行動に影響を受けることです。

状態表現学習では、エージェントの行動によって環境に生じる変化を捉えるように表現を学習します。そのため、この種の表現はロボティクスや制御の場面に特に適しています。

生まれた背景と状態の役割

ロボティクスの制御や、より広い意味での人工知能は、センサーデータをコンパクトで表現力のある形で表せるかどうかに大きく依存しています。こうした表現の設計は、長いあいだ設計者が人手で行ってきました。深層学習の登場によって、データからこのような表現を学習するための汎用的な枠組みが手に入りました。

この考え方はロボティクスで特に重要です。カメラのような複数のセンサーは非常に高次元のデータを与えます。一方で、ロボットの目標は、たとえば物体を操作するタスクにおける物体の3次元位置のように、はるかに低次元の空間で表せることがよくあります。この低次元の表現はシステムの状態と呼ばれることが多く、与えられたタスクにとって本質的な情報を残しながら、元のデータに含まれる多くの無関係な側面を捨てるという重要な役割を持ちます。ここでいう低次元とは、学習された状態の次元が観測空間の次元よりも大幅に小さいことを指します。

低次元であることの利点

表現が低次元であることには、主に次の利点があります。

• 次元の呪いを乗り越えやすくなります。
• 人間にとって解釈しやすく、利用しやすくなります。
• 強化学習のような方策学習アルゴリズムの性能や学習速度を高める助けになります。

代表的な手法の例

1つ目は順モデルを学習するアプローチです。順モデルは、ある時刻の観測または状態と、そのときの行動から、次の時刻の状態を予測するモデルです。この予測を通じて状態表現を学習します。たとえば、順モデルを線形に制約することもあります。

2つ目はオートエンコーダを使うアプローチです。単純なオートエンコーダを使って、実物のポールを写した生の画像から2次元の表現を学習した例があります。この例では、オートエンコーダの内部表現を使って、ポールのバランスをとる制御器を学習します。こうしたモデルは同じ時刻の観測を再構成するものですが、さらにシステムの力学を考慮するように調整したオートエンコーダも提案されています。また、遷移が予測しやすい状態空間への射影をオートエンコーダで学習するという考え方もあります。