AdaGrad

AdaGradとは、パラメータごとに学習率を自動調整する最適化アルゴリズムです。頻繁に出現する特徴量には小さな学習率を、稀にしか出現しない特徴量には大きな学習率を適用することで、効率的な学習を実現します。

しかし、学習が進むにつれて累積した勾配により学習率が極端に小さくなり、最終的に学習がほぼ進まなくなるという欠点があります。このため、学習率の減衰を制御する改良アルゴリズムがその後に多く登場しました。

G検定では、パラメータごとの学習率適応という革新性と、その後の学習停止という欠点を対で覚えます。AdaDeltaやRMSpropなどが、このAdaGradの問題をどう解決したかという歴史的な流れの起点として重要です。