ハイパーパラメータ

訓練を制御する変数

ハイパーパラメータとは、機械学習モデルの訓練のさまざまな面を制御する変数です。代表的なものとして、学習率、バッチサイズ、エポック数の3つが挙げられます。

パラメータとの違い

ハイパーパラメータと混同しやすい語にパラメータがあります。パラメータは、重みやバイアスのようにモデルそのものの一部をなす変数です。両者の違いは、誰が値を決めるかにあります。

• ハイパーパラメータ: 人が制御する値
• パラメータ: モデルが訓練中に計算する値

つまり、訓練の進め方は人がハイパーパラメータとして設定し、その設定のもとでモデルが重みやバイアスを求めていく、という役割分担になっています。

代表的な3つのハイパーパラメータ

学習率

学習率は人が設定する浮動小数点数で、モデルがどれだけ速く収束するかに影響します。学習率が低すぎると、収束までに長い時間がかかることがあります。反対に高すぎると、モデルは収束せず、損失を最小にする重みとバイアスの周辺を行ったり来たりし続けます。小さすぎても大きすぎても問題が起きる点が特徴です。

バッチサイズ

バッチサイズは、モデルが重みとバイアスを更新する前に処理する事例の数を指します。データセットが数十万件、あるいは数百万件もの事例を含む場合、全事例をひとまとめにして扱う方法(フルバッチ)は現実的ではありません。そこでよく使われるのが次の2つの手法です。

• 確率的勾配降下法: バッチサイズが1
• ミニバッチ確率的勾配降下法: バッチサイズが1と全事例数の間

エポック数

1エポックとは、訓練中にモデルが訓練セットのすべての事例を1回ずつ処理し終えたことを意味します。訓練には通常、多くのエポックが必要です。何エポック訓練するかを表すエポック数は、モデルが訓練を始める前に人が設定するハイパーパラメータです。

学習のポイント

ハイパーパラメータはシラバス2024のキーワードに含まれます。定義を覚えるだけでなく、パラメータとの対比(人が決めるか、モデルが計算するか)と、3つの代表例がそれぞれ訓練の何を決めているかを結び付けて押さえておくと整理しやすくなります。