グループ正規化

グループ正規化は、ニューラルネットワークにおける正規化手法の一つです。学習を安定させるために層の出力を調整しますが、バッチ正規化がバッチサイズに依存するという問題を解決するために提案されました。

バッチ正規化では、バッチ内のデータを用いて平均と分散を計算するため、バッチサイズが小さい場合には統計量が不安定になります。これに対し、グループ正規化では、特徴マップのチャネルを複数のグループに分け、グループごとに平均と分散を計算して正規化を行います。

G検定では、バッチ正規化との比較が重要です。グループ正規化はバッチサイズに依存しないため、オンライン学習やメモリ制限が厳しい環境での学習において有効であるという特徴を理解しておくことが求められます。