学習率

学習率とは

学習率(learning rate)は、人が学習の前に設定する浮動小数点数で、モデルがどれだけ速く収束するかを左右します。重みやバイアスはモデルが学習中に計算して求めるパラメータですが、学習率は人が決めて学習を制御する値です。そのため、バッチサイズやエポック数と並ぶ代表的なハイパーパラメータに数えられます。

勾配に掛け合わされる係数

勾配降下法では、損失関数の傾きが負になる方向へ、重みとバイアスをステップごとに少しずつ動かします。この少しずつ動かす量を決めるのが学習率です。モデルは勾配に学習率を掛け、その値を使って次の反復でのパラメータの値を決めます。

たとえば勾配の大きさが2.5、学習率が0.01なら、パラメータの変化量は 2.5 × 0.01 = 0.025 です。このため、更新前後のパラメータの差は損失関数の傾きに比例します。傾きが大きいところでは大きく動き、小さいところでは小さく動きます。つまり学習率は、勾配の情報を実際の1歩の大きさへ換算する係数です。

小さすぎる場合と大きすぎる場合

学習率が小さすぎると1回の更新量がわずかになり、収束までに非常に多くの反復が必要になります。このとき損失曲線は、反復ごとに少しずつしか改善しない形になります。

反対に学習率が大きすぎると、モデルは収束しません。損失を最小にする重みとバイアスの周りを行ったり来たりするだけになり、損失曲線は激しく上下に振動するか、後半の反復で急激に増えていきます。

適切な学習率なら、妥当な反復回数のうちに収束します。理想的な学習率で学習したモデルでは、最初の20回ほどの反復で損失が大きく下がり、その後は落ち着いていきます。損失曲線がどの形になるかは、学習率が適切かどうかを見分ける手がかりになります。

最適な学習率は問題によって違う

どの値が最適かは、一律には決まりません。最適な学習率は問題によって違い、モデルとデータセットごとに異なります。目標は、高すぎず低すぎない値を選んで、モデルを速く収束させることです。