学習率

ニューラルネットワークの学習において、1回のパラメータ更新でどれだけ重みを変化させるかを決めるハイパーパラメータです。学習の進み具合を制御する重要な変数です。

大きすぎると最適解を飛び越えて発散し、学習が安定しません。逆に小さすぎると収束に時間がかかりすぎて、局所最適解に陥るリスクが高まります。適切な設定がモデルの性能を左右します。

G検定では、学習率が大きすぎた場合や小さすぎた場合の問題点が問われます。Adamのような自動調整手法が存在することや、学習の停滞を防ぐために適宜調整が必要であることの理解が重要です。