発展：スケーリング則と創発能力

学習の調整のレッスンの続きとして、モデルを大きくすると性能がどう変わるのかを掘り下げます。規模の3つの軸、大きくするほど性能がなめらかに上がるスケーリング則、限られた計算をパラメータとデータにどう配分するのがよいか、ある規模を境に新しい力が現れる創発能力とその議論、そして規模だけでは足りない点までを実装のコードは扱わず、なぜ規模が効くのかに絞って説明します。