深層強化学習（方策ベースと応用）：A3C・PPO・RLHF

ねらい

このレッスンでは、行動を直接に選ぶ方策ベース（ほうさくベース）の深層強化学習と、その実世界への応用を学びます。

前のレッスンで学んだ価値ベースが土台になります。ここでは、もうひとつの流派である方策ベースと、深層強化学習がどこで役立っているかに集中します。

基礎

「価値をはさまずに、行動そのものを出力するしくみを学ぶ」という全体像をつかみます。

1. 行動を直接に選ぶ：方策ベース

方策（ほうさく）とは、ある状況でどの行動を選ぶかを決める、行動の選び方そのものです。方策ベースの深層強化学習は、この方策をニューラルネットワークで表し、よりよい方策になるように直接に学びます。

価値ベースが「各行動の価値を出して、いちばん高いものを選ぶ」という間接的なやり方だったのに対し、方策ベースは「この状況ならこう動く」という選び方を直接に調整します。行動が連続的に変わる場面でも、行動の値をそのまま出力できるため、扱いやすくなります。

多くの実用的な手法は、方策ベースと価値ベースの両方の考えを組み合わせています。行動を選ぶ役割と、その結果を評価する役割を2つに分けて協力させるやり方です。この組み合わせの基本的な枠組みは、機械学習の章で学びました。ここでは、それをディープラーニングで大規模にした手法を見ます。

2. 深層強化学習が活躍する場面

深層強化学習は、正解の行動をあらかじめ用意できない問題で力を発揮します。おもな応用の場面をつかんでおきましょう。

ひとつは、複雑なゲームです。手数が非常に多く、勝ち負けという遠い報酬しか手がかりがないゲームで、人間の一流プレイヤーに匹敵する成績が出ています。

もうひとつは、ロボットの制御です。関節を動かして歩く、物をつかむといった動作を試行錯誤から学びます。ただし現実のロボットで何万回も試すのは大変なので、コンピュータの中の模擬環境で学ばせる工夫が重ねられています。

さらに、大規模言語モデルの調整にも使われます。人が好ましいと感じる受け答えに近づけるために、深層強化学習の考え方が取り入れられています。

ここまでの要点

• 方策ベースは、行動の選び方そのものを直接に学びます。連続的な行動に向いています。
• 多くの手法は、行動を選ぶ役割と評価する役割を組み合わせています。
• 深層強化学習は、複雑なゲーム・ロボット制御・大規模言語モデルの調整などで使われています。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「行動そのものを直接に学ぶのが方策ベース」と押さえられていれば、このテーマの土台はできています。

発展

ここからは、代表的な手法のしくみと、応用を支える現場の工夫をくわしく見ます。とくに、大規模言語モデルに使われる RLHF は、いまの生成 AI を理解するうえで重要です。

3. A3C と PPO：方策を安定して学ぶ

まず、方策ベースの代表的な2つの手法を見ます。

A3C（エースリーシー）は、英語で Asynchronous Advantage Actor-Critic と書きます。名前が3つの工夫を表しています。行動を選ぶ役者と、その結果を評価する評論家の2つを組み合わせる点、行動が平均よりどれだけ得だったかという差分を手がかりにする点、そして多数のエージェントを並行して非同期に動かし、それぞれの経験を持ち寄って1つの方策を更新する点です。並行して学ぶことで、経験の偏りをやわらげ、学習を速く安定させました。

PPO（ピーピーオー）は、英語で Proximal Policy Optimization と書きます。方策ベースには、一度の更新で方策を動かしすぎると学習が崩れる、という難しさがあります。PPO は、更新の前と後で方策が離れすぎないように、動かせる幅に制限をかけます。近くにとどめながら少しずつ改善するため、扱いやすく安定します。手続きが比較的わかりやすく成績も高いため、方策ベースの標準的な手法として広く使われています。

理解の確認

A3C は、役者と評論家の組み合わせ、平均との差分、多数のエージェントの並行という3つの工夫で学習を速く安定させます。PPO は、更新のたびに方策が離れすぎないよう幅を制限し、安定して改善します。

4. RLHF：人の好みで大規模言語モデルを調整する

RLHF（アールエルエイチエフ）は、英語で Reinforcement Learning from Human Feedback と書きます。日本語では、人間のフィードバックからの強化学習という意味です。大量の文章で事前に学んだ大規模言語モデルを人にとって好ましい受け答えに近づけるための手法です。

大量の文章から学んだだけのモデルは、文章としては自然でも、人の指示に素直に従うとは限りません。ぶっきらぼうだったり、危険な内容を出したりすることもあります。そこで、人の好みを手がかりに調整します。おおまかな流れは、次の3段階です。

1つ目は、人の好みを集める段階です。同じ問いかけに対するモデルの複数の答えを人に見せ、どちらがより好ましいかを選んでもらいます。

2つ目は、報酬モデルを作る段階です。集めた好みのデータから、「人はこの答えをどれくらい好ましく感じるか」を点数にして返す、報酬モデルという別のネットワークを学習します。人の代わりに好ましさを採点する役です。

3つ目は、その報酬を手がかりに強化学習をする段階です。大規模言語モデルを方策とみなし、報酬モデルが高い点数をつける答えを多く出すように、強化学習で調整します。この強化学習の部分に、さきほどの PPO がよく使われます。

こうして、指示に素直に従い、安全で役立つ受け答えに近づけます。RLHF は、いまの対話型の大規模言語モデルが自然に受け答えできる背景にある、重要な技術です。人の価値観にモデルを近づける調整であり、AI 倫理の観点とも深くつながります。

理解の確認

RLHF は、人の好みを集めて報酬モデルを作り、その報酬を手がかりに強化学習で大規模言語モデルを調整する手法です。強化学習の部分には PPO がよく使われます。指示に従い、安全で役立つ受け答えに近づけるはたらきをします。

5. ゲームへの応用：OpenAI Five とアルファスター

複雑なゲームは、深層強化学習の力を測る舞台になってきました。

OpenAI Five（オープンエーアイファイブ）は、5対5で戦う複雑な対戦ゲームで、人間の上位チームを破ったことで知られます。膨大な対戦を自分自身との対戦で積み重ね、その学習に PPO を大規模に用いました。長い時間にわたる連携が必要なゲームで、強化学習が通用することを示しました。

アルファスター（AlphaStar）は、リアルタイムに進む複雑な戦略ゲームで、人間の上位プレイヤーに匹敵する成績を出しました。まず人間の対戦記録をまねる学習で土台を作り、その後に多様な相手と戦わせる強化学習で強くしました。相手の全体が見えない、判断が速く求められるといった難しさに対応しました。

理解の確認

OpenAI Five は複雑な対戦ゲームで自己対戦と PPO により人間の上位チームを破り、アルファスターはリアルタイム戦略ゲームで、まねる学習と強化学習を組み合わせて人間の上位に匹敵しました。

6. ロボットと現場を支える工夫

深層強化学習を実世界、とくにロボットで使うには、いくつもの工夫が要ります。試行錯誤の回数を現実で確保するのが難しいためです。おもな工夫を見ます。

1つ目は、模擬環境から現実への移し替えです。これを sim2real（シムトゥリアル）と呼びます。英語の simulation to real、つまり模擬から現実へ、を縮めた言葉です。コンピュータの中の模擬環境で安全に大量に学び、その結果を現実のロボットに移します。ただし模擬と現実にはずれがあり、そのまま移すとうまく動かないことがあります。

2つ目は、そのずれに強くする工夫で、ドメインランダマイゼーションと呼びます。模擬環境の見た目や物理の設定をわざとばらばらに変えながら学習します。いろいろな条件でも通用する方策になるため、現実という「もうひとつの条件」にも対応しやすくなります。

3つ目は、オフライン強化学習です。ふつうの強化学習は、動きながら新しい経験を集めます。オフライン強化学習は、あらかじめ記録された固定のデータだけから学び、学習中は新たに環境を動かしません。実際に試すことが危険だったり高くついたりする場面で役立ちます。

4つ目は、残差強化学習です。ゼロから方策を学ぶのではなく、すでにある従来の制御に対して、その足りない部分を補う修正だけを強化学習で学びます。土台となる制御があるぶん、学習が速く安全になります。

5つ目は、状態表現学習です。カメラ映像のような生の観測は情報が多すぎるため、そこから学習に役立つ簡潔な状態の表し方をあらかじめ学んでおきます。よい状態の表し方があると、その後の強化学習が進みやすくなります。

6つ目は、報酬成形です。目標にたどり着いたときだけ報酬を与えると、成功するまで手がかりがなく、学習が進みません。そこで、望ましい方向に進んだら小さな報酬を途中で与えるなど、報酬の設計を工夫して学習を助けます。ただし与え方を誤ると、ねらいと違う近道を学んでしまうため、慎重さが要ります。

最後に、複数のエージェントが同時に学ぶ場合です。これをマルチエージェント強化学習（MARL）と呼びます。MARL は「マール」と読みます。1台だけでなく、協力したり競争したりする複数のエージェントが、たがいの動きに影響し合いながら学びます。相手も学んで変化するため、1台のときより学習が難しくなります。

理解の確認

sim2real は模擬環境で学んだ結果を現実へ移す考え方で、ドメインランダマイゼーションは模擬の条件をわざとばらつかせてずれに強くします。オフライン強化学習は固定データだけから学び、残差強化学習は既存の制御を補う修正を学びます。状態表現学習はよい状態の表し方を学び、報酬成形は途中の報酬で学習を助け、マルチエージェント強化学習は複数のエージェントが影響し合いながら学びます。

選好最適化とロボット学習の現在

ここからは、いまの潮流を知る手がかりになります。

RLHF は効果が大きい一方で、報酬モデルを別に用意し、強化学習を回す手順が複雑でした。そこで、報酬モデルと強化学習の反復を省き、人の好みのデータから方策を直接に最適化する考え方が広まりました。選好最適化と呼ばれる方向で、代表例に DPO（ディーピーオー、Direct Preference Optimization）があります。手順が簡潔になるため、大規模言語モデルの調整で広く使われています。

ロボット学習でも、大量の作業映像から動作の方策を学ぶ流れが強まっています。言語の指示を受けて動作を出す、視覚と言語と行動を結ぶ大きなモデルの研究が進んでいます。ただしこの分野は動きが速く、代表とされる手法やモデルは短期間で入れ替わります。最新の固有名は、その時点の一次資料で確かめる必要があります。

理解度の確認