イテレーション

勾配降下法の中で繰り返される1回分

勾配降下法は、利用者が決めた回数のイテレーション(反復)だけ同じ手順を繰り返して、最もよい重みとバイアスを探す。学習はゼロに近いランダムな重みとバイアスから始まり、1回のイテレーションでは次の4つを順に行う。

1. 現在の重みとバイアスで損失を計算する
2. 損失を減らすには、重みとバイアスをどちらへ動かせばよいかを決める
3. 損失が減る方向へ、重みとバイアスの値を少しだけ動かす
4. 手順1へ戻る

この1周がイテレーション1回にあたる。手順3で値が動くので、イテレーションは重みとバイアスを1回更新する単位と言い換えられる。繰り返しは、モデルがそれ以上損失を減らせなくなるまで続ける。

燃費データで見る反復の推移

根拠の教材では、燃費のデータセットに対してこの手順を6回繰り返した結果が示されている。

1回目は重みもバイアスも0で、損失は303.71である。更新のたびに重みとバイアスが少しずつ動き、損失は170.84、103.17、68.70と下がって、6回目には42.17になる。1回ごとの損失の下げ幅は、1回目から2回目で約133、5回目から6回目で約9と、回を重ねるほど小さくなっている。

ミニバッチ学習でのイテレーション

ミニバッチ確率的勾配降下法(ミニバッチSGD)では、モデルがランダムに選んだ事例で1つのバッチを作り、それらの勾配を平均して、イテレーションごとに1回だけ重みとバイアスを更新する。バッチサイズは、重みとバイアスを更新する前にモデルが処理する事例の数を表すハイパーパラメータである。

エポックとの関係

エポックは、訓練データのすべての事例を1回ずつ処理し終えることを指す。訓練データが1,000事例、ミニバッチサイズが100事例なら、1エポックを終えるのに10回のイテレーションが必要になる。つまり1エポックは複数のイテレーションから成る。イテレーションは更新の回数、エポックはデータを一巡した回数であり、数えている対象が異なる点に注意したい。

イテレーションはG検定のシラバス2024のキーワードに含まれる。