局所最適解

局所最適解とは

局所最適解は、誤差関数(損失関数)を最小化する途中で到達しうる最小値のうち、全体で最も低い値ではないものを指します。ある点のまわりだけを見ればそこが一番低いのに、誤差関数全体で見ると、もっと低い点が別の場所にある状態です。英語では local optimum と呼び、最小化の文脈では local minima とも書きます。

ニューラルネットワークで問題になる理由

ニューラルネットワークでよく扱う誤差関数は、高度に非凸(highly non-convex)な形をしています。非凸とは、お椀のような単純な形ではなく、谷やくぼみがいくつもある起伏の多い形だということです。この誤差関数には、最適ではない(suboptimal)局所的な最小値が数多くあります。学習がそのどれかに捕まって抜け出せなくなるのを避けることが、最小化の重要な課題の1つとされています。

線形モデルとの対比

線形回帰のような線形モデルでは事情が違います。線形モデルの損失関数は常に凸な曲面になります。この性質があるので、線形回帰モデルが収束したときには、損失を最も低くする重みとバイアスをモデルが見つけたと分かります。つまり、勾配降下法は必ず大域的な最小値にたどり着き、与えられたデータに対して最良のモデルが得られます。

非凸な誤差関数では、局所最適解が複数ありうるため、この保証は成り立ちません。勾配降下法で収束しても、それが最良の解だとは限りません。損失関数が凸かどうかによって、到達した解を最良とみなせるかどうかが変わります。

難しさの原因をめぐる主張

局所最適解は学習の障害として挙げられることが多い一方で、Dauphin et al. は、非凸な誤差関数の最小化が難しい原因は実は局所最適解ではなく鞍点にあると主張しています。最適化の難しさを局所最適解だけで説明できるわけではない、という見方があることも押さえておきましょう。