せいそくか

正則化

モデルの過学習を抑えるために、学習過程で複雑すぎるパラメータにペナルティを与える手法です。L1正則化は一部をゼロにして特徴を選択し、L2正則化は値全体を小さく抑える役割を持ちます。

詳しい説明

正則化とは、機械学習モデルが学習データに過剰に適合する過学習を防ぐために、モデルの複雑さにペナルティを課す手法です。パラメータの値を小さく抑えることで、モデルの柔軟性を制限し、未知のデータに対する汎化性能を高めます。

代表的な手法にはL1正則化とL2正則化があります。L1正則化はパラメータの絶対値の和をペナルティとし、不要な重みをゼロにする効果があるため特徴選択に適しています。L2正則化は重みの二乗和をペナルティとし、すべての重みを小さく抑えることで極端な値の影響を防ぎます。

G検定では、モデルの汎化性能を向上させる技術として問われます。過学習への対策として、どのようなペナルティを加えるのか、L1とL2の性質の違いは何かといった比較が頻出です。また、ドロップアウトも正則化の一種として理解しておくと網羅的です。