リッジ回帰

リッジ回帰とは、線形回帰モデルにおいて過学習を防ぐために用いられる回帰分析の手法です。通常の最小二乗法に、回帰係数の二乗和をペナルティ項として損失関数に加えることで、モデルの複雑さを制御します。

この手法は、係数の値が極端に大きくなることを防ぐ「L2正則化」として知られています。係数の大きさを制約することで、学習データに対して過剰に適合してしまうリスクを抑え、未知のデータに対する予測性能である汎化性能を高めます。

G検定では、ラッソ回帰と比較して問われることが多くあります。ラッソ回帰はL1正則化を用い、重要でない変数の係数を0にすることで特徴選択を行いますが、リッジ回帰は係数を小さくするものの0にはしないという違いを整理しておくことが重要です。