OpenAI Five

Dota 2で世界チャンピオンを破ったAI

OpenAI Fiveは、OpenAIが開発した、Dota 2というゲームをプレイするAIシステムです。2019年4月13日、eスポーツの世界チャンピオンであるTeam OGを破り、eスポーツで世界チャンピオンに勝った最初のAIシステムになりました。

Dota 2は、Valve Corporationが2013年に発売した5対5のマルチプレイヤーのリアルタイム戦略ゲームです。2013年から2019年の間に平均で50万人から100万人が同時にプレイし、プロ選手が専業で活動しています。2019年の世界大会の賞金総額は3500万ドルを超えました。強化学習にとっては、時間軸が長いこと、相手の状況が見えない不完全情報であること、状態と行動の空間が複雑で連続的かつ高次元であることが大きな課題になります。論文は、これらの課題が今後より高い能力を持つAIにとってますます中心的になると述べています。

既存の強化学習を前例のない規模で動かす

論文によれば、この複雑な環境を攻略する鍵は、新しいアルゴリズムではなく、既存の強化学習の技術を前例のない規模までスケールさせたことでした。数千のGPUを複数か月にわたって使い、2秒ごとに約200万フレームのバッチから学習しました。そのために分散訓練システムと継続的に訓練するための道具を開発し、10か月にわたって訓練を続けました。

訓練の途中では、プロジェクトの進行に合わせて環境やコードが変わり続けました。変更のたびに最初から学習し直すのを避けるため、性能をほとんど落とさずに訓練を再開する道具群を開発し、サージェリーと名付けました。10か月の訓練の間に、およそ2週間に1回のペースでサージェリーを行いました。

世界チャンピオンに勝った後、OpenAI FiveはDota 2のコミュニティにも公開され、7000試合以上で99.4%の勝率を記録しました。

人間のデータを使わない自己対戦

OpenAI Fiveは、人間のプレイデータをまったく使わず、自己対戦(self-play)という自己改善のプロセスだけで訓練されました。現在の最良のエージェントを自分自身や過去のバージョンと対戦させ続け、それらの相手に勝てる新しい戦略を学ぶという仕組みです。自己対戦は、バックギャモン、囲碁、チェス、StarCraft 2、ポーカーなどでも超人的な性能を得るために使われてきました。

訓練では、試合の80%を最新のパラメータどうしで、20%を過去のバージョンを相手に行いました。過去のバージョンとも対戦させるのは、より頑健な戦略を得るためと、多様な相手との戦い方を忘れてしまう戦略の崩壊を防ぐためです。

チームスピリットによる5体の協調

Dota 2では1チームに5体のエージェントがいるため、良い結果がどのエージェントの行動によるものかを学ぶ必要があり、報酬の割り当ての問題が一段と難しくなります。これに対してOpenAI Fiveは、チームスピリットという値を導入しました。チームスピリットが0なら各ヒーローは自分の行動に対する報酬だけを受け取り、1ならすべての報酬が5体に均等に分配されます。最終的にはチーム全体の成功を最適化する1を目指しますが、訓練の初期には低い値の方が勾配の分散が小さくなることが分かりました。複数のエージェントの協調という課題の一般的な扱いについては、マルチエージェント強化学習の項目で扱います。