ベイズ情報量規準

モデルの良し悪しを1つの値で比べる基準

説明変数の組み合わせを変えながら複数のモデルを作ると、どのモデルを採用するかを決める物差しが必要になります。ベイズ情報量規準(Bayesian Information Criterion、BIC)は、その物差しの1つです。同じ目的の基準には、Cp統計量、赤池情報量規準(AIC)、自由度調整済み決定係数があります。BICはベイズ的な考え方から導かれましたが、最終的な式の形はCpやAICとよく似ています。

BICの式と記号の意味

最小二乗法で当てはめた、d個の説明変数を持つモデルでは、BICは結果に影響しない定数を除くと次の式で表されます。

BIC = (1/(nσ̂²))(RSS + log(n)dσ̂²)

• RSS: 残差平方和です。モデルの予測と実際の値のずれを2乗して合計したもので、当てはまりが悪いほど大きくなります。
• d: モデルに含まれる説明変数の数です。
• σ̂²: 誤差の分散の推定値です。
• n: データ数(観測の件数)です。
• log(n): nの自然対数です。

括弧の中は、当てはまりの悪さを表すRSSに、変数の数dに比例するペナルティlog(n)dσ̂²を足した形です。変数を増やすとRSSは小さくなりやすい一方で、ペナルティは大きくなります。

値が小さいモデルを選ぶ

BICは、テスト誤差の小さいモデルほど小さな値をとる傾向があります。そのため、候補のモデルごとにBICを計算し、値が最も小さいモデルを選ぶのが基本の使い方です。

AICとの違い: ペナルティの重さ

最小二乗法のモデルでは、AICは(1/(nσ̂²))(RSS + 2dσ̂²)で表されます。BICとの違いはペナルティ項だけで、AIC(とCp)が2dσ̂²を使うところを、BICはlog(n)dσ̂²に置き換えています。

log(n)は、データ数nが7件を超えると2より大きくなります。そのため、実際の多くのデータではBICのほうがAICより変数1個あたりのペナルティが重くなります。結果として、BICはAICより変数の少ない単純なモデルを選ぶ傾向があります。AICとBICは式の形が似ていますが、どちらが小さいモデルを選びやすいかを取り違えないことが大切です。

Creditデータセットでの選択結果の違い

Creditデータセットを使った例では、選ばれたモデルが次のように分かれました。

• BIC: 収入、限度額、カード数、学生かどうかの4変数のモデル
• AICとCp: 収入、限度額、信用格付け、カード数、年齢、学生かどうかの6変数のモデル

同じデータでも、ペナルティの重いBICのほうが変数の少ないモデルを選んだ例です。

理論的な裏付けと使いやすさ

Cp、AIC、BICには、どれも厳密な理論的裏付けがあります。その裏付けは、データ数nが非常に大きい場合を想定した議論(漸近的な議論)に基づいています。どの基準も計算は簡単で、手軽に使えます。

ベイズ情報量規準(BIC)は、G検定シラバス2024の中項目10 モデルの選択・評価のキーワードに含まれています。