勾配降下法

勾配降下法とは、ニューラルネットワークなどの機械学習モデルにおいて、損失関数の値を最小にするような重み（パラメータ）の値を探索するためのアルゴリズムです。関数の現在の位置における勾配（傾き）を計算し、その傾きが下る方向へ重みをわずかに更新することを繰り返すことで、損失を最小化していきます。

学習の際には、全体のデータを用いて計算する手法や、データを分割して計算するミニバッチ学習、あるいはランダムに選んだ1つのデータで更新する確率的勾配降下法（SGD）などが使い分けられます。どれだけ一度に動かすかを示す「学習率」というパラメータの設定が重要で、大きすぎると最適解を飛び越え、小さすぎると収束に時間がかかりすぎるというトレードオフがあります。

G検定では、最適化アルゴリズムの基本として扱われます。特に、勾配降下法の計算コストを抑えるための確率的勾配降下法や、効率的に学習するための最適化手法（MomentumやAdamなど）との関連で出題されることが多いため、基本原理を正しく押さえておく必要があります。