発展：モデルを小さく速くする（蒸留・量子化・プルーニング）

モデルの解釈性と圧縮のレッスンの続きとして、大きなモデルを小さく速くする工夫について、蒸留・量子化・プルーニング・宝くじ仮説の機構のレベルまで掘り下げます。なぜ軽くしたいのか、効きの弱い結合を削るプルーニングと宝くじ仮説、数を粗くする量子化、大きなモデルの振る舞いを小さなモデルに写す蒸留、そしてこれらの組み合わせと釣り合いまでを実装のコードは扱わず、なぜ小さくできるのかに絞って説明します。