AdaDelta

AdaDeltaとは、AdaGradの弱点であった「学習が進むにつれて学習率がゼロに近づき、学習が停止してしまう」という問題を解決するために開発された最適化アルゴリズムです。勾配の二乗累積の代わりに指数移動平均を用いることで、過去の情報を適切に忘却します。

この手法では、学習率をハイパーパラメータとして明示的に設定する必要がなく、自動的に調整されるため、使い勝手が良いという利点があります。指数移動平均を用いることで、長期間の勾配の影響を排除し、現在の学習フェーズに即した更新が可能になります。

G検定では、AdaGradの改良版として、勾配の二乗の指数移動平均という概念が重要です。ハイパーパラメータ調整が不要である点や、学習停滞の問題をどう回避しているかというロジックが問われることがあります。