アンサンブル学習

アンサンブル学習とは

アンサンブル学習とは、1つの予測モデルだけに頼らず、複数の予測モデルを用意してそれらを組み合わせ、全体としてより良い予測を得ようとする機械学習の考え方です。「アンサンブル」はもともと合奏や全体のまとまりを指す語で、複数のモデルの出力をまとめて1つの予測を作る点が名前に表れています。

ここで組み合わせる1つ1つのモデルは、それ自体が回帰や分類を行う普通の予測モデルです。アンサンブル学習は特定のアルゴリズムの名前ではなく、こうした予測モデルを部品として束ね、ひとまとまりの予測器として使うという設計の方針を指す語です。

部品を組み合わせて強いモデルを作る

統計的学習の教科書であるジェームズ、ウィッテン、ハスティー、ティブシラニ(Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani)の『An Introduction to Statistical Learning』(2013年)は、第8章で決定木を扱ったあと、次のように述べています。

"Bagging, random forests, and boosting use trees as building blocks to construct more powerful prediction models."

訳すと「バギング、ランダムフォレスト、ブースティングは、木を部品としてより強力な予測モデルを構築する」となります。この一文は、1本の決定木をそのまま使うのではなく、木を部品として複数組み合わせることで、より強力な予測モデルを作るという発想を示しています。決定木の場合について、アンサンブル学習という考え方の具体的な姿を描いた記述といえます。

なお、この章の記述は「アンサンブル学習」という語そのものを定義しているわけではありません。また、ここで部品になっているのは決定木ですが、アンサンブル学習で組み合わせる部品が決定木に限られるという意味ではありません。決定木を部品とするのは、この考え方を使う代表的な場面の1つです。

代表的な手法の名前

上の引用には、アンサンブル学習に属する代表的な手法として、バギング、ランダムフォレスト、ブースティングの3つの名前が挙がっています。これらはどれも複数のモデルを組み合わせるという点で共通していますが、部品となるモデルをどのように作り、どのようにまとめるかがそれぞれ異なります。個々の仕組みはそれぞれの用語で扱われるので、ここでは「複数のモデルを組み合わせる手法の仲間」として名前を押さえておけば十分です。

1つのモデルとの違い

1つのモデルで予測する場合、そのモデル1つの出力がそのまま最終的な予測になります。アンサンブル学習では、複数のモデルを部品として用意し、それらの出力をまとめたものを最終的な予測とします。引用した教科書が「より強力な予測モデル」と表現しているように、狙いは部品となる1つのモデルを単独で使う場合よりも強い予測を得ることにあります。

どれだけ強くなるか、どのような場面で効果が出やすいかは、部品となるモデルの作り方とまとめ方によって変わります。そうした違いは個々の手法の用語で扱う内容です。アンサンブル学習という語で押さえておきたいのは、「複数のモデルを組み合わせて1つの予測器にする」という共通の発想です。