鞍点

鞍点とは

鞍点(saddle point)は、誤差関数の上で、ある次元の方向に進むと上り坂になり、別の次元の方向に進むと下り坂になっている点のことです。どの方向へ進んでも誤差が増える谷底とは違い、鞍点はある方向から見ると底のように見え、別の方向から見ると頂上のように見えます。見る方向によって形が変わることが、鞍点の定義の中心です。

ニューラルネットワークの学習で問題になる理由

ニューラルネットワークで一般的な誤差関数は、高度に非凸であることが多いとされます。こうした誤差関数を最小化するときの重要な課題として、数多く存在する最適でない局所最適解に捕まるのを避けることが挙げられてきました。

これに対してDauphin et al.の研究者らは、困難の原因は実際には局所最適解ではなく鞍点にあると主張しています。学習がうまく進まない主な原因を、局所最適解から鞍点へと捉え直す見方です。

SGDが抜け出しにくい理由

鞍点は、同じ誤差の値が続く平坦な領域(プラトー)に囲まれていることが多いとされます。平坦な領域では、どの次元の方向を見ても誤差がほとんど変化しないため、勾配はすべての次元で0に近くなります。

確率的勾配降下法(SGD)は、勾配を手がかりにパラメータを更新します。勾配がすべての次元でほぼ0になると更新はごく小さくなり、実際には下り坂になっている次元があっても、そちらへ進む手がかりをつかみにくくなります。このため鞍点は、SGDにとって抜け出すのが非常に難しい場所として知られています。

試験に向けて

鞍点はシラバス2024のキーワードに含まれます。まず、ある次元で上り坂、別の次元で下り坂になっている点という定義を押さえます。そのうえで、高度に非凸な誤差関数の最小化で困難の原因として鞍点が挙げられていること、周囲のプラトーでは全次元の勾配がほぼ0になりSGDが抜け出しにくいことを、局所最適解との対比とあわせて整理しておくとよいでしょう。