宝くじ仮説

出発点になった問い

ニューラルネットワークから不要な重みを取り除く技術を、プルーニング(枝刈り)と呼びます。論文によれば、訓練を終えたネットワークにプルーニングを施すと、精度を損なわずにパラメータ数を90%以上減らせます。モデルの保存に必要な容量が減り、推論(訓練済みモデルを使って予測すること)の計算効率も上がります。

プルーニングを施したネットワークは、重みの大部分がゼロになった、まばらな状態になります。このような状態をスパースといいます。

ここで自然な疑問が生まれます。ネットワークをそこまで小さくできるのなら、最初からその小さな構造で訓練すれば、推論だけでなく訓練も効率化できるのではないか、という疑問です。ところが当時広く経験されていたのは、プルーニングで見つかった構造を最初から訓練し直すと学習がうまく進まず、元のネットワークより低い精度にとどまる、という事実でした。

論文では例として、MNIST(手書き数字の画像データセット)向けの全結合ネットワークと、CIFAR10(小さなカラー画像の分類データセット)向けの畳み込みネットワークから、サブネットワークをランダムに抜き出して訓練しています。その結果、ネットワークがスパースになるほど学習が遅くなり、最終的なテスト精度も下がっていました。

仮説の内容

フランクル(Frankle)とカービン(Carbin)は、標準的なプルーニング技術が、効果的に訓練できる初期値を持ったサブネットワーク(ネットワークの一部分を取り出した小さなネットワーク)を自然に見つけ出していることを発見しました。この発見に基づいて述べたのが宝くじ仮説です。

仮説の中身は次のとおりです。

• 対象は、密で(重みが省かれずにすべてそろっていて)、ランダムに初期化されたフィードフォワードネットワークです
• そのネットワークの中には、切り出して単独で訓練したときに、元のネットワークと同程度の反復回数で、同程度のテスト精度に到達するサブネットワークが含まれています
• このサブネットワークを、当たりのチケット(winning ticket)と呼びます

なぜ宝くじと呼ぶのか

ネットワークの重みは、訓練の前にランダムな値で初期化されます。論文は、当たりのチケットを初期化のくじ(lottery)に当たったものと表現しています。当たりのチケットの接続は、訓練が特にうまく進むような初期の重みを、たまたま持っていたということです。

つまりこの仮説では、小さな構造そのものだけでなく、その構造がどんな初期値から訓練を始めるかが重要だと考えます。論文も、こうした偶然に恵まれた初期値の重要性を支持する実験結果を示しています。

実験で得られた結果

論文は、当たりのチケットを見つけるためのアルゴリズムを示し、仮説を支持する一連の実験を報告しています。

• MNIST向けとCIFAR10向けの、いくつかの全結合アーキテクチャと畳み込みアーキテクチャで、元のサイズの10〜20%未満の当たりのチケットが一貫して見つかりました
• そのサイズを上回る範囲では、見つかった当たりのチケットは元のネットワークより速く学習し、より高いテスト精度に到達しました

位置づけ

プルーニングで得た小さな構造は、最初から訓練すると元のネットワークより精度が下がりやすい、というのが当時の経験則でした。宝くじ仮説は、適切な初期値と組み合わせれば、小さなサブネットワークでも元のネットワークに匹敵する訓練ができることを示し、この経験則に反する例を提示しました。推論の効率化の手段と見られていたプルーニングを、訓練をうまく進められる小さな構造を見つける手段として捉え直した点に特徴があります。