アルファスター

StarCraft IIでグランドマスター級に達したAI

アルファスター(AlphaStar)は、DeepMindが開発した、対戦型のリアルタイム戦略ゲームStarCraft IIをプレイするAIシステムです。対戦サービスBattle.netで、現役プレイヤーの99.8%より上の順位に入りました。さらに、StarCraft IIの3つの種族であるプロトス、テラン、ザーグのすべてでグランドマスター級の水準に達しました。

開発では、ゲームのデータから直接学習するために、汎用的な機械学習の技術を組み合わせました。使った技術は、ニューラルネットワーク、強化学習による自己対戦(self-play)、マルチエージェント学習、模倣学習です。

自己対戦が陥る循環の問題

自己対戦では、エージェントが自分自身やその過去の版と対戦を繰り返して強くなります。ただし、強さが同じところをぐるぐる回る循環に陥ることがあります。DeepMindはこれをじゃんけんにたとえています。あるエージェントがいまはグーを好んで出しているとします。自己対戦が進むと、グーに勝てるパーへ切り替えた新しいエージェントが現れます。次にチョキへ切り替わり、やがてまたグーへ戻ります。こうして、強くなったように見えても元の戦略に戻るサイクルができてしまいます。

この問題への解決策の1つが、fictitious self-playです。これは、それまでのすべての戦略を混ぜ合わせた相手と対戦させる手法です。しかしStarCraft IIでは、fictitious self-playを使っても強いエージェントを作るには足りないことが分かりました。そこで、より優れた汎用的な解決策を作ることにしました。

リーグという仕組み

その解決策が、リーグ(League)と呼ばれる仕組みです。リーグは、fictitious self-playの考え方をエージェントの集団へ広げたものです。

通常の自己対戦では、どのエージェントも相手に勝つ確率を最大にしようとします。リーグの核心となる洞察は、勝つためにプレイするだけでは足りない、という点です。リーグには次の2種類のエージェントが必要です。

• メインエージェント: すべての相手に勝つことを目標にするエージェント
• エクスプロイターエージェント: 全プレイヤーに対する自分の勝率を最大にするのではなく、メインエージェントの弱点をあばくことで、メインエージェントがより強くなるのを助けることに専念するエージェント

この訓練方法によって、リーグはStarCraft IIの複雑な戦略のすべてを、エンドツーエンドで、完全に自動で学びました。

模倣学習で人間の戦略を取り込む

強い自己対戦の仕組みと、メインエージェントとエクスプロイターエージェントからなる多様なリーグがあっても、事前の知識が無ければ、これほど複雑な環境で成功する戦略が育つ見込みはほとんどありませんでした。人間の戦略を学び、自己対戦のあいだもエージェントがその戦略を探索し続けるようにしたことが、アルファスターの性能を引き出す鍵でした。

そのために、模倣学習に、言語モデルで使われる高度なニューラルネットワークの構造と技術を組み合わせて、初期の方策を作りました。この初期の方策は、現役プレイヤーの84%よりうまくゲームをプレイできました。また、人間の対局の序盤の手の分布を表す潜在変数で方策を条件づけ、高度な戦略が失われないようにしました。さらに、自己対戦のあいだ一種の蒸留を使い、探索を人間の戦略の方へ偏らせました。

この方法によって、アルファスターは種族ごとに1つのニューラルネットワークの中に、多くの戦略を表現できました。