ぷるーにんぐ
プルーニング
ニューラルネットワークから不要な重みや結合を削除し、モデルを軽量化する手法です。計算資源の限られた環境での推論を可能にし、過学習を抑制する効果もあります。
詳しい説明
プルーニングとは、学習済みのニューラルネットワークから、不要な重みや結合を削除してモデルを軽量化する手法です。直訳すると「剪定」を意味し、ネットワークの枝葉を切り落とすイメージで理解されます。
多くのパラメータを持つ巨大なモデルは高い精度を出せますが、計算資源やメモリを大量に消費します。プルーニングによって精度への寄与が少ないパラメータを削ることで、モデルサイズを圧縮し、推論の計算速度を高速化できます。
エッジAIやモバイル端末など、ハードウェアの制約がある環境でAIを動かす場合に必須の技術です。また、モデルを簡素化することで、過学習を抑制し汎化性能を高める「正則化」としての効果も期待できます。
試験で問われること
G検定
- プルーニングは不要なパラメータを削除し、モデルを軽量化する手法です。
- 計算資源の制約がある環境での実装や、推論の高速化に有効です。
- モデルを簡素化することで過学習を抑制する効果もあることを押さえてください。