二重降下現象

食い違う2つの通念

古典的な統計的学習理論では、バイアス・バリアンストレードオフが基本的な考え方です。複雑なモデルほどバイアスは小さくなりますが、バリアンス(分散)は大きくなります。複雑さがある閾値を超えると、分散項がテスト誤差の大部分を占めて過学習が起きます。そのため、閾値を超えた後はモデルが大きいほど悪い、というのが古典的な統計学の通念でした。

ところが、現代のニューラルネットワークはこの予想どおりには振る舞いません。数百万のパラメータを持ち、ランダムなラベルにすら適合できるのに、多くのタスクで小さいモデルより性能が良いのです。実務家の間では、モデルは大きいほど良い、という経験則が共有されています。

二重降下現象とは

二重降下現象は、モデルの複雑さを増やしていくと、性能がいったん悪化してから、その後改善するという現象です。Belkin et al.(2018)がこれを一般的な現象として初めて提唱し、double descent と名付けました。

この現象は、次の2つの領域に分けると理解しやすくなります。

• under-parameterized な領域: 訓練事例数に比べてモデルの複雑さが小さい領域です。テスト誤差は、古典的なバイアス・バリアンストレードオフが予測するU字型の曲線をたどります。
• 補間ができる領域: 訓練データを補間できる(訓練誤差をほぼ0にできる)ほど複雑さが大きい領域です。ここでは複雑さを増やすほどテスト誤差が下がり、大きいほど良いという経験則に沿います。

有効モデル複雑度とエポックごとの二重降下

この考え方をパラメータ数以外にも広げるため、Effective Model Complexity(EMC、有効モデル複雑度)が提案されています。EMC は、ある訓練手続きがほぼ0の訓練誤差を達成できる最大のサンプル数です。EMC はデータの分布やアーキテクチャだけでなく訓練手続きにも依存し、訓練時間を延ばすと大きくなります。

そのため、モデルを固定して訓練時間(エポック数)を増やす場合にも、エポックごとの二重降下が観察されます。EMC がサンプル数より小さい段階ではU字型の曲線をたどり、EMC がサンプル数を十分に上回ると、訓練を続けるほど性能が改善します。この帰結として、早期終了が役立つのは、複雑さが臨界付近にあるモデルという比較的狭い範囲に限られるとされています。

データを増やすと悪化することもある

テスト誤差の山は、EMC がサンプル数と一致する付近に現れます。サンプル数を増やすと、この山は右へずれます。多くの場合はサンプルを増やすと誤差は下がりますが、この移動のせいで、データが多いほうが悪くなる設定も生じえます。

また、どの形の二重降下も、訓練ラベルの一部がランダムに壊されているラベルノイズのある設定で最も強く現れると報告されています。