マルチエージェント強化学習

複数のエージェントが同じ環境で学ぶ設定

マルチエージェント強化学習(MARL)は、1体のエージェントだけが環境と関わるのではなく、複数のエージェントが同じ環境の中で行動し、それぞれ学習していく強化学習の設定を指します。エージェントどうしが味方としてチームを組む協調の場面もあれば、敵として勝ち負けを争う競合の場面もあります。どちらの場面でも、あるエージェントにとっての環境には他のエージェントの行動が含まれるため、1体のときには無かった難しさが生まれます。Google DeepMindは、StarCraft IIで人間の上位プレイヤーの水準に達したAlphaStarについて、ニューラルネットワーク、強化学習による自己対戦、模倣学習と並べて、マルチエージェント学習を汎用的な機械学習の技術の1つとして用いたと説明しています。

協調するときの難しさ: クレジット割り当て

強化学習には、得られた報酬がどの行動のおかげなのかを見分けるクレジット割り当ての問題があります。複数のエージェントが1つのチームを組むと、この問題にもう1つの次元が加わります。Dota 2をプレイするOpenAI Fiveでは、1チームに5体のヒーローがおり、良い結果が出たときに、5体のうちどのエージェントの行動がその原因だったのかを学ばなければなりません。論文では、部分的な報酬を細かく定めてクレジット割り当てを易しくしようとしましたが、それが逆効果になりうることも述べています。別のエージェントが良い行動をとったときに自分が報酬を受け取ってしまうと、学習の手がかりにならない報酬が混ざり、かえって分散を増やしてしまうからです。

競い合うときの難しさ: 自己対戦の循環

エージェントどうしが対戦しながら強くなる自己対戦では、戦略が堂々めぐりする問題が起こります。じゃんけんで説明すると、あるエージェントがグーを好むようになると、次にグーに勝つパーを選ぶエージェントが現れます。やがてパーに勝つチョキへ移り、最後はまたグーに戻って、循環が生まれます。相手が学習して変わり続けるため、直前の相手にだけ勝てばよいという学び方では、本当に強い戦略にたどり着けません。対策の1つが、過去のすべての戦略を混ぜた相手と対戦する架空自己対戦(fictitious self-play)です。

対処の例: チームスピリットとリーグ

協調の課題への対処の例が、OpenAI Fiveのチームスピリットです。これはチームのエージェントが仲間の得た報酬をどれだけ分け合うかを表す値で、0なら各ヒーローは自分の行動の報酬だけを受け取り、1ならすべての報酬を5体で均等に分けます。最終的に目指すのは1で、チーム全体の成功のために行動を選ばせることです。

競合の課題への対処の例が、AlphaStarのリーグです。架空自己対戦の考え方をエージェントの集団へ広げたもので、全員に勝つことを目指すメインエージェントと、自分の勝率を上げるのではなくメインエージェントの弱点をあばいて強くする手助けをするエクスプロイターエージェントを組み合わせます。どちらの仕組みも詳しくはOpenAI Five、アルファスターの項目で扱います。