アルファ碁

この解説は、David Silver ら「Mastering the game of Go with deep neural networks and tree search」(Nature 529, 484-489、2016年1月)の要旨だけにもとづいて書いています。論文の本文は購読が必要なため読んでいません。そのため、ネットワークの構造や訓練の細かな手順など、要旨に書かれていないことはここでは扱いません。

囲碁が人工知能にとって難しかった理由

要旨によると、囲碁は人工知能にとって古典的なゲームの中で最も難しいものと長く考えられてきました。理由として挙げられているのは2つです。1つ目は探索空間が膨大であることです。探索空間とは、ゲームの中で起こりうる局面や手の並びの全体のことで、これが大きいほど、すべての可能性を調べ尽くすことが難しくなります。2つ目は、盤面や手の良し悪しを評価することが難しいことです。

2つのニューラルネットワークと学習の方法

AlphaGo は、この2つの難しさに対して、役割の違う2種類の深層ニューラルネットワークを使います。value networks は盤面を評価するためのネットワークで、policy networks は打つ手を選ぶためのネットワークです。

これらのネットワークは、2種類の学習を組み合わせて訓練されます。1つは教師あり学習です。教師あり学習とは、入力と正解の組を与えて、正解を当てられるようにモデルを学習させる方法で、AlphaGo では人間の専門家が打った棋譜が材料になります。もう1つは強化学習です。強化学習とは、行動の結果として得られる報酬をもとに、より良い行動を選べるように学習する方法です。AlphaGo では、この強化学習を自己対局で行います。自己対局とは、プログラムが自分自身を相手に対局することです。要旨は、この組み合わせを新しいものとして紹介しています。

要旨によると、先読みの探索をまったく行わなくても、このニューラルネットワークだけで、最先端のモンテカルロ木探索のプログラムと同じ水準で囲碁を打てました。モンテカルロ木探索とは、ある局面からランダムな対局を多数シミュレーションし、その結果をもとに有望な手を探す探索の方法です。比較対象のプログラムは、数千回のランダムな自己対局をシミュレーションするものと説明されています。

探索アルゴリズムと対局の結果

AlphaGo は、ニューラルネットワークを単独で使うだけではありません。要旨では、モンテカルロシミュレーションを value networks と policy networks と組み合わせた新しい探索アルゴリズムも提案されています。つまり、深層学習と木探索を組み合わせた点が AlphaGo の特徴です。

この探索アルゴリズムを使った AlphaGo は、他の囲碁プログラムに対して99.8%の勝率を上げ、人間のヨーロッパ王者に5対0で勝ちました。要旨は、コンピュータプログラムがフルサイズの囲碁で人間のプロ棋士に勝ったのはこれが初めてであり、少なくとも10年は先と考えられていた成果だと述べています。