AdaBound

AdaBoundとは、Adamの適応的な学習率による学習の速さと、SGDの汎化性能の高さを両立させることを目指した最適化アルゴリズムです。Adam特有の収束の不安定さを克服するために、学習率を制限する仕組みを導入しています。

学習の進行度合いに応じて、学習率の動的な上下限を設定します。学習初期にはAdamのように広い範囲で学習率を適応させ、後半になるにつれて範囲を狭めることで、SGDのような安定した収束を実現します。ハイパーパラメータを細かく調整しなくても高い精度が得られる点が大きな特徴です。

G検定では、Adamの欠点である収束の不安定さを解消する最適化手法の一種として位置づけられます。学習率の挙動を動的に制御する「バウンディング（制限）」の考え方が、最適化アルゴリズムの進化として重要視されます。