Adam

Adamは、ニューラルネットワークの学習において、パラメータを効率的に更新するために用いられる最適化アルゴリズムの一種です。勾配の移動平均を利用して学習率を動的に調整し、さらに勾配の二乗の移動平均を使って学習率のスケールを補正するという2つの工夫を組み合わせた手法です。

このアルゴリズムは、過去の勾配の情報（慣性）を反映させることで、学習の進みが遅い場合や振動してしまう場合でも安定した収束を実現します。ハイパーパラメータの調整も従来の手法と比較して比較的容易であるため、ディープラーニングにおける学習のデフォルトとして広く採用されています。

G検定では、SGD（確率的勾配降下法）やMomentumといった他の最適化手法との比較が問われます。特に、勾配をどの程度考慮するかという仕組みの違いや、学習の進みやすさといった特性について整理しておく必要があります。