モデル圧縮

ニューラルネットワークのパラメータを削減したり、計算量を減らしたりすることで、モデルのサイズを小さくする技術の総称です。エッジデバイスやスマートフォンなどの限られたリソース環境でモデルを動かすために不可欠です。

代表的な手法として、重要度の低い結合を削除する枝刈りや、パラメータの値を簡略化する量子化、ネットワークの構造を簡略化する蒸留などがあります。これらを組み合わせることで、精度を維持しつつ軽量化を図ります。

深層学習モデルの大型化が進む中、実用化の鍵となる技術として問われます。過学習の抑制というよりは、推論速度の向上やメモリ使用量の削減が主な目的である点を整理しておきます。