勾配消失問題

勾配消失問題とは、ディープラーニングの学習時、誤差逆伝播法（バックプロパゲーション）を用いる際に、層が深くなるほど誤差（勾配）が入力層に向かって小さくなり、パラメータの更新が事実上行われなくなってしまう現象です。特に、初期のニューラルネットワークでよく用いられていたシグモイド関数のような活性化関数を使用した場合に顕著に発生します。

シグモイド関数は、入力値が大きすぎたり小さすぎたりすると、関数の傾き（勾配）がほぼゼロになってしまいます。誤差逆伝播法ではこの傾きを掛け合わせながら伝播させるため、層が重なるごとに勾配が雪だるま式に小さくなり、ネットワークの浅い層の重みが全く更新されないという事態を招きます。これに対処するために、勾配を減衰させにくいReLUなどの活性化関数の採用や、バッチ正規化といった技術が導入されました。

G検定では、この問題の原因と、それを解決するための技術（ReLU、バッチ正規化、残差接続など）とのセットで問われることが非常に多いです。勾配爆発問題と対比されることが多く、どちらも学習を困難にする重要な障害として位置づけられます。