かくりつてきこうばいこうかほう
確率的勾配降下法 (SGD)
SGD = Stochastic Gradient Descent
全データを使わず、ランダムに選んだ一部のデータで勾配を計算してパラメータを更新する最適化手法です。計算コストを低く抑えられ、ディープラーニング学習の基本として広く使われます。
詳しい説明
誤差を最小化するために、データのサブセットを用いてパラメータを更新する最適化手法です。全データを用いるのではなく、ランダムに選んだ一部のデータを使用して勾配を近似的に算出するため、計算コストを抑えつつ、効率的に学習を進められます。ディープラーニングにおける重み更新の基本的なアプローチとして利用されます。
試験で問われること
G検定（ジェネラリスト検定）
- 全データを使うバッチ学習よりも計算が高速です。
- パラメータ更新の際、ランダムに選んだデータを使うため収束が振動します。
- ディープラーニング学習の基本手法です。