AMSBound

AMSBoundとは、AMSGradをさらに改良した最適化アルゴリズムです。AdamやAMSGradにおいて学習率が適切に減衰せず、学習後半で収束性が悪化するという問題を解決するために設計されました。

具体的には、学習率を上下の境界値で制限する仕組みを導入しています。学習の初期段階ではAdamのように適応的な学習率で素早く学習を進め、後半にかけてSGD（確率的勾配降下法）のような安定した収束挙動をとるように制御します。これにより、ハイパーパラメータの調整の手間を軽減します。

G検定では、AdamやAMSGradの改良版として、収束の安定性を高める手法として位置づけられます。学習の進行度合いに応じて、学習率の更新ルールを動的に変化させることで、汎化性能の向上を狙っている点がポイントです。