モーメンタム

モーメンタムとは、ニューラルネットワークの学習における最適化アルゴリズムの一つで、勾配降下法に「慣性」の要素を加えた手法です。勾配降下法は急な傾斜がある場所で振動しやすく、学習が進みにくいという欠点がありますが、モーメンタムはこの問題を解消するために考案されました。

具体的には、現在の勾配だけでなく、過去の更新量（慣性）を考慮して次のパラメータ更新を行います。これにより、学習が局所最適解に陥りそうな場合でも、過去の勢いを維持してそこから脱出しやすくなります。また、平坦な地形でも加速して進む効果があり、学習速度の向上も期待できます。

G検定では、誤差逆伝播法を改良した最適化手法の一つとして位置づけられます。基本的なSGD（確率的勾配降下法）との違いや、Adamなどのより高度な最適化手法がモーメンタムの考え方を内包していることなど、最適化アルゴリズムの進化の文脈で問われることが多い語です。