赤池情報量規準

複数のモデルから良いものを選ぶための基準

説明変数の組み合わせを総当たりで試す最良部分集合選択のように、候補のモデルから1つを選ぶ場面では、モデルの質を判断する物差しが要ります。AICはその物差しの1つです。同じ目的の基準として、Cp統計量、ベイズ情報量規準(BIC)、自由度調整済み決定係数も挙げられています。

AICは、最尤法で当てはめた幅広いモデルについて定義されます。誤差が正規分布に従うと仮定するモデルでは、最尤法と最小二乗法は同じ結果になります。なお、AICはG検定シラバス2024の中項目10 モデルの選択・評価のキーワードに含まれています。

最小二乗法の線形モデルでの式

d個の説明変数を含む線形モデルを最小二乗法で当てはめた場合、AICは次の式で表されます(簡単のため、加算される定数は省いています)。

AIC = (1/(nσ̂²))(RSS + 2dσ̂²)

• n: データ数
• RSS: 残差平方和。訓練データについて、予測と実際の値の差を2乗して足し合わせた値
• d: モデルに含まれる説明変数の数
• σ̂²: 各観測値に伴う誤差の分散の推定値

当てはまりの良さに複雑さのペナルティを足す

括弧の中は2つの部分に分かれます。RSSは訓練データへの当てはまりの良さを表し、小さいほどよく当てはまっています。ただし、訓練データでの誤差は、新しいデータに対する誤差(テスト誤差)よりも小さく出る傾向があります。そこで2dσ̂²というペナルティを加えて、この見積もりの甘さを補います。

ペナルティは説明変数の数dに比例します。そのため、変数を増やしてRSSが下がっても、その分だけペナルティも大きくなります。当てはまりの良さとモデルの複雑さの両方を1つの値で評価できるのが、この式の特徴です。

値が最も小さいモデルを選ぶ

最小二乗法のモデルでは、AICとCp統計量は比例します。Cpはテスト誤差が低いモデルほど小さな値になるので、AICでも、値が最も小さいモデルを最良のモデルとして選びます。

似た基準との関係と理論的な裏付け

AICに似た基準にBICがあります。BICはペナルティの重さがAICと異なります。

AIC、Cp、BICはどれも計算が簡単です。理論的な裏付けは、データ数nが非常に大きい場合を想定した議論(漸近的な議論)に基づいています。ここでは最小二乗法の線形モデルの式を示しましたが、AICはより一般的なモデルについても定義できます。