りーきーれるーかんすう
Leaky ReLU 関数
ReLU関数の改良版で、入力が0以下の領域でも微小な傾きを持たせてわずかな値を出力します。勾配が完全に0となって更新が止まる、死んだReLUと呼ばれる現象を防ぐ仕組みです。
詳しい説明
Leaky ReLU 関数は、ReLU 関数の改良版です。入力が0以下の領域でも0を返すのではなく、微小な傾きを持たせることでわずかな値を出力します。これにより、学習中に勾配が完全に0となって更新が止まってしまう「死んだReLU」現象を防ぐ仕組みです。
試験で問われること
G検定（ジェネラリスト検定）
- ReLUの弱点である負の領域での勾配消失を防ぐ目的が問われます
- 通常のReLUとの違いを区別します