早期終了

定義

早期終了(Early Stopping)は、訓練損失が下がりきる前に学習を打ち切る正則化の手法である。具体的には、検証データセットに対する損失が上がり始めた時点、つまり汎化性能が悪化し始めた時点で、意図的に学習を止める。

この手法では、訓練データに対する損失(訓練損失)だけを見るのではなく、検証データセットに対する損失も合わせて観察する。学習を止めるかどうかは、訓練損失ではなく検証データセットに対する損失の動きで判断する。

一見すると不自然に思える理由

早期終了は直感に反するように見えるかもしれない。損失がまだ下がっているのに学習を止めるよう指示するのは、シェフにデザートが焼き上がる前に調理をやめるよう言うようなものだ、という比喩がある。訓練損失が下がり続けている間は、モデルがまだよくなっている途中のように見えるため、そこで止めるのはもったいなく感じられる。

それでも理にかなっている理由

しかし、モデルを長く訓練しすぎると過学習につながる。長く訓練すると、モデルが訓練データにあまりにも密接に適合してしまい、新しい事例に対してよい予測ができなくなることがある。

訓練損失が下がり続けていることは、訓練データへの当てはまりがよくなっていることを示すだけで、新しい事例への予測がよくなっていることまでは示さない。検証データセットに対する損失が上がり始めたら、それは訓練データへの適合が進む一方で汎化性能が悪化し始めた合図と読める。早期終了は、その時点で学習を止めることで、訓練データに合わせすぎる前のモデルを使えるようにする。

正則化としての位置づけ

早期終了は、過学習を抑えるための正則化の手法の一つである。モデルに求められるのは訓練データへの当てはまりそのものではなく、新しい事例に対してよい予測をすることであり、早期終了はこの目的に沿って学習をどこで終えるかを決める考え方といえる。