L0 正則化

0でない要素の個数を数えるという考え方

L0正則化は、モデルのパラメータのうち0でない値を持つものが何個あるかを数え、その個数を罰則として学習の目的に加える考え方を指す語として、一般に理解されています。罰則を重くするほど、学習は0でないパラメータが少ないモデルを選ぶ方向へ向かうと考えられます。

ベクトルの0でない要素の個数は、数式で‖x‖₀と書かれることがあります。L0という名前は、この書き方と対応しています。

L1正則化・L2正則化との違い

L1正則化はパラメータの絶対値の和を、L2正則化はパラメータの2乗の和の半分を罰則に使う手法です(それぞれの正確な式はL1正則化・L2正則化のページで確認してください)。これと並べると、L0正則化は値の大きさを見ずに、0でないかどうかだけで個数を数える点が異なる、と整理されることが一般的です。

ただし、この対比を直接述べた記述は、このページの根拠資料では確かめられていません。ここでは一般的な理解として示すにとどめます。L1正則化とL2正則化の仕組みは、それぞれのページで確認してください。

教科書での扱いと、このページで書いている範囲

深層学習の代表的な教科書であるイアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)の『Deep Learning』(2016年)の第7章は、正則化を扱う章です。この章を調べましたが、L0正則化を独立して説明する節は見当たりませんでした。

同じ章には、隠れ層の出力である表現hについて、0でない要素の個数を‖h‖₀と書く式が出てきます(式7.49の周辺)。これは表現を疎にする、つまり表現の大半の要素を0にすることを扱った箇所です。重みパラメータに罰則をかけるL0正則化とは、数える対象が異なります。

このように、根拠資料ではこの語の詳しい説明を確認できませんでした。そのため、このページには「0でない要素の個数を直接数える」という一般的な考え方だけを書いています。具体的な式の形、最適化のしやすさ、使われる場面には踏み込んでいません。G検定のシラバスにはこの語の名前が挙がっているので、正則化の手法の一つとして、名前と考え方を押さえておくとよいでしょう。