あんてん

鞍点

勾配降下法において、勾配がゼロになるものの極小値ではない点です。高次元空間では極小値以上に学習の停滞を招きやすく、深層学習の最適化における主要な課題として克服が求められます。

詳しい説明

鞍点とは、勾配降下法による学習において、勾配がゼロになるものの、極小値でも極大値でもない点のことです。形状が馬の鞍に似ていることからそう呼ばれ、学習が停滞する原因となります。

高次元の空間では、極小値よりもむしろこの鞍点に多くの損失関数がトラップされることが知られています。学習が進まない理由として重要であり、これを回避するための工夫が求められます。

G検定では、最適化アルゴリズムや学習の安定化に関連して問われます。勾配消失問題や局所解との違いを明確にし、なぜ鞍点が学習を妨げるのかという理由を理解しておく必要があります。