学習の調整：止めどき・現象・探索

ねらい

このレッスンでは、学習をうまく進めるための調整を学びます。

基礎

「学習の前に決めておく設定があり、その選び方や学習の止めどきが、結果を大きく左右する」という全体像をつかみます。

1. 学習の前に決める設定と、止めどき

これまでのレッスンで、学習率や、ミニバッチのかたまりの大きさ、何エポック学習させるか、といった値が出てきました。これらは、学習を始める前に人が決めておく設定です。学習の中で自動で決まる重みとは違い、あらかじめ人が選ぶ必要があります。この、学習の前に決める設定をハイパーパラメータといいます。

ハイパーパラメータの選び方しだいで、学習がうまく進むかどうかが変わります。たとえば学習率が合っていないと、前に学んだように、なかなか谷底に落ち着けません。だから、ちょうどよい設定を探すことが大切になります。

もう一つ大切なのが、学習の止めどきです。学習を続けすぎると、訓練データに合わせすぎて、新しいデータに弱くなること、つまり過学習が起こります。そこで、新しいデータへの当たりが悪くなり始めた時点で、学習を打ち切る工夫があります。これを早期終了（そうきしゅうりょう）といいます。ちょうどよいところで火を止めるのと同じ発想です。

ここまでの要点

• ハイパーパラメータは、学習の前に人が決めておく設定で、選び方が結果を左右します。
• 学習を続けすぎると過学習が起こるため、早期終了でちょうどよいところで止めます。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「学習の前に決める設定と、止めどきが大事」と押さえられていれば、この先の深掘りに進む土台はできています。

発展

ここからは、止めどきの見きわめ方、学習で見られる意外な現象、そして設定の探し方をくわしく見ます。

2. 早期終了の見きわめ方

早期終了では、学習を止めるべきときをどう見きわめるかが問題になります。目安に使うのは、学習に使っていない別のデータへの当たり具合です。

学習を進めると、訓練データへのずれは下がり続けます。しかし、学習に使っていないデータへのずれは、あるところまでは下がっても、そこを過ぎると逆に上がりはじめます。この上がりはじめが、過学習が始まった合図です。早期終了は、この、学習に使っていないデータへのずれが下げ止まって上がりに転じた時点で、学習を打ち切ります。もっとも当たりのよかった状態をできあがりのモデルとして採用します。

理解の確認

早期終了は、学習に使っていないデータへのずれを見張り、それが下げ止まって上がりに転じた時点で学習を打ち切る工夫です。過学習が始まる前に、もっとも当たりのよい状態を採用します。

3. 二重降下現象

学習をめぐっては、素朴な予想に反する現象も知られています。その一つが二重降下現象（にじゅうこうかげんしょう）です。

昔からの考え方では、モデルを複雑にしすぎると過学習して当たりが悪くなる、と説明されてきました。ところが、モデルの大きさや学習の量をさらに増やしていくと、いったん悪くなった当たりが、あるところを超えてから、ふたたび良くなっていくことが観察されました。当たりの悪さが、下がって、上がって、また下がる、という二段階の下りを見せるため、二重降下現象と呼ばれます。とても大きなモデルが、過学習しそうに見えて、かえってよく当たる、という近年の観察につながる現象です。

理解の確認

二重降下現象は、モデルの大きさや学習の量を増やしていくと、いったん悪くなった当たりが、あるところを超えてふたたび良くなる現象です。当たりの悪さが二段階の下りを見せることから、この名があります。

4. ノーフリーランチの定理

設定選びやモデル選びを考えるうえで、心にとめておきたい考え方が、ノーフリーランチの定理です。「フリーランチ」は「ただの昼食」という意味で、都合のよいうまい話はない、という言い回しです。

ノーフリーランチの定理は、あらゆる問題に対してつねに最良となる、万能の手法は存在しない、という主張です。ある問題でよく効く手法が、別の問題では平凡だったり、かえって当てはまらなかったりします。だから、手法や設定は、解きたい問題ごとに選び直す必要があります。この定理は、どんなときも使える魔法の手法を探すのではなく、問題に合わせて選ぶことの大切さを教えてくれます。

理解の確認

ノーフリーランチの定理は、あらゆる問題につねに最良となる万能の手法は存在しない、という主張です。手法や設定は、問題ごとに選び直す必要があります。

5. ハイパーパラメータの探し方

ちょうどよいハイパーパラメータは、あらかじめは分かりません。そこで、いくつかの候補を実際に試して、当たりのよいものを探します。代表的な探し方が二つあります。

グリッドサーチは、設定の候補を格子状に並べて、その組み合わせをすべて試す方法です。たとえば学習率に3通り、かたまりの大きさに3通りの候補を用意したら、その9通りをすべて試し、いちばん当たりのよい組み合わせを選びます。もれなく試せる反面、候補や種類が増えると、試す回数が一気にふくれあがります。

ランダムサーチは、候補の範囲の中から、組み合わせをランダムに選んで試す方法です。決まった格子ではなく、あちこちをまばらに試します。すべては試しませんが、同じ試行の回数なら、格子に縛られない分、効きめの大きい設定を見つけやすいことが知られています。

理解の確認

グリッドサーチは、設定の候補を格子状に並べて組み合わせをすべて試す方法です。ランダムサーチは、範囲の中から組み合わせをランダムに選んで試す方法です。同じ回数なら、ランダムサーチのほうが効きめの大きい設定を見つけやすいとされます。

理解度の確認