バッチ正規化

バッチ正規化とは、ニューラルネットワークの中間層の出力を、ミニバッチごとに平均0、分散1に正規化する技術です。層ごとの活性化関数の入力分布を一定に保つ効果があります。

この手法により、学習速度が飛躍的に向上し、重みの初期値への依存度を低減できます。また、過学習を抑制する効果も期待できるため、ディープラーニングのモデル構築において標準的に用いられます。

学習中に各層の入力分布が変化する「内部共変量シフト」を抑制することが、この手法の主たる役割です。G検定では、その効果と学習を安定化させるメカニズムを理解することが求められます。