バッチ学習

バッチ学習とは

バッチ学習(フルバッチ勾配降下法)は、訓練セットに含まれるすべての事例について損失を計算し終えてから、モデルの重みとバイアスを1回更新するやり方です。モデルが重みとバイアスを更新する前に処理する事例の数をバッチサイズと呼ぶので、バッチ学習はバッチサイズを訓練セットの事例数Nそのものにした場合にあたります。

更新の前にデータセットの全事例の損失を計算するという発想は素直なもので、根拠の教材も、まずモデルはそうすべきだと考えるかもしれない、とこの考え方を示しています。

大規模なデータでの問題

ただし同じ教材は、データセットが数十万件、さらには数百万件の事例を含む場合、フルバッチを使うのは実用的でないと続けます。1回の更新のたびに全事例を処理しなければならないためです。そこで、全事例を見なくても平均的には正しい勾配が得られる手法として、確率的勾配降下法(SGD)とミニバッチ確率的勾配降下法が挙げられています。

バッチサイズで並べた位置づけ

3つの手法は、バッチサイズの違いとして並べられます。

ミニバッチ確率的勾配降下法はフルバッチとSGDの折衷と説明され、バッチサイズを大きくするほどフルバッチ勾配降下法に近いふるまいになるとされています。

エポックと反復の数え方

エポックは、訓練セットの全事例をモデルが1回処理し終えたことを指します。教材の例では、1,000事例の訓練セットをミニバッチサイズ100で学習すると、1エポックを終えるのに10回の反復が必要です。同じ計算をバッチ学習に当てはめると、バッチサイズが事例数と等しいので1エポックの反復は1回となり、1エポックごとに重みとバイアスが1回だけ更新されます。訓練には通常多くのエポックが必要で、エポック数は学習を始める前に決めるハイパーパラメータです。

パラメータとハイパーパラメータ

バッチサイズ、学習率、エポック数は、訓練のさまざまな面を制御するハイパーパラメータです。これに対して重みとバイアスはモデルそのものの一部であるパラメータで、バッチ学習が更新する対象はこちらです。バッチ学習かミニバッチ学習かという違いは、ハイパーパラメータであるバッチサイズの選び方の違いとして整理できます。

試験との関係

バッチ学習、確率的勾配降下法、ミニバッチ学習の区別は、シラバス2024のキーワードに含まれる学習手法の基本事項です。