ブースティング

ブースティングとは、予測精度の低い「弱学習器」を逐次的に結合し、強力な「強学習器」を作り上げるアンサンブル学習手法です。複数のモデルを組み合わせて精度を上げる点はバギングと同様ですが、学習の仕方が異なります。

ブースティングでは、前のモデルが誤って予測したデータに対して重みを増やし、次のモデルがそのデータを重点的に学習するように修正を繰り返します。このプロセスにより、モデル全体の誤りを段階的に減らしていきます。

代表的な手法にAdaBoostや勾配ブースティング決定木があります。G検定では、個々の弱学習器を並列に学習させる「バギング」との違いや、決定木を積み重ねることで複雑な予測が可能になる反面、過学習に注意が必要という点がポイントです。