レイヤー正規化

レイヤー正規化とは、ディープラーニングのモデルにおいて、各層のニューロンの出力を平均0、分散1になるように正規化する手法です。学習過程における内部共変量シフトを抑制し、学習を安定かつ高速化させるために用いられます。

バッチ正規化がバッチ（学習データの塊）単位で統計量を計算するのに対し、レイヤー正規化は各サンプル内のすべてのニューロンにわたって統計量を計算します。このため、バッチサイズに依存せず、バッチサイズが小さい場合や、リカレントニューラルネットワークのような時系列データ、あるいはTransformerモデルで特に有効です。

G検定では、バッチ正規化との違いや、どのようなネットワーク構造で用いられるかがポイントになります。勾配消失問題を防ぐための手法の一環として位置づけられ、モデルの学習の安定性を高める重要な技術として出題されます。