勾配爆発問題

勾配爆発問題とは、ディープラーニングの学習において、誤差逆伝播法で重みを更新する際、勾配が過度に大きくなり、重みが極端な値に更新されて学習が発散してしまう現象です。ネットワークが深くなると誤差の伝播において勾配が乗算されるため、各層の重みの初期値や学習率が適切でない場合に容易に発生します。

この問題が発生すると、損失関数の値が急激に増大したり、NaN（数値計算不可）になったりして学習が完全に破綻します。対策としては、勾配がある閾値を超えた場合に強制的に小さくする「勾配クリッピング」という手法が有効です。また、重みの初期値の適切な設定や、バッチ正規化を行うことも、勾配の不安定さを抑えるために重要となります。

G検定では、勾配消失問題と対比される形で出題されます。どちらも「学習を不安定にする」という共通点がありますが、勾配消失は「更新されない」、勾配爆発は「更新されすぎて発散する」という違いを明確に区別して理解しておく必要があります。特に対策手法である勾配クリッピングの名前は重要です。