ランダムフォレスト

ランダムフォレストとは、複数の決定木を組み合わせて一つのモデルとするアンサンブル学習の手法です。学習データをランダムに分割して各決定木に学習させ、それぞれの予測結果を多数決や平均によって統合することで、最終的な予測を出力します。

この手法の最大の利点は、単一の決定木よりも過学習しにくく、高い汎化性能を持つことです。個々の決定木はデータに過剰適合しがちですが、複数の木の意見を合わせることで、データの外れ値やノイズの影響を相殺し、安定した予測を実現します。また、どの変数が予測に寄与したかを算出できる特徴量の重要度の指標も得られます。

G検定では、アンサンブル学習の代表例として問われます。バギングという手法を用いていることや、個別のモデルを強化して全体の性能を上げるという仕組みの理解が不可欠です。決定木単体との違いや、ブースティング手法との対比で試験に出題される傾向があります。