量子化

量子化とは、ニューラルネットワークのモデルサイズを削減し、推論を高速化する手法です。通常は32ビットの浮動小数点数で表現されるパラメータを、8ビットなどのより少ないビット数で表現するように変換します。

この処理により、メモリ使用量を大幅に削減し、計算負荷を下げることが可能です。モデルの精度はわずかに低下する可能性がありますが、スマートフォンのような計算リソースの限られたエッジデバイスでAIを動かすために非常に有効な技術です。

G検定では、モデル圧縮手法の代表例として問われます。枝刈りや蒸留といった他の圧縮技術と混同しないよう注意が必要です。量子化は主に推論時の効率化を目的としており、学習段階から量子化を行う手法も存在します。