Wide ResNet

深くするだけでは割に合わなくなった残差ネットワーク

残差ネットワーク(ResNet)は、数千層まで深くしても性能が向上し続けることが示されていました。しかし、Wide ResNetを提案したZagoruykoとKomodakisは、その代償の大きさに注目しました。1パーセントに満たないわずかな精度向上を得るたびに、層の数をほぼ倍にしなければならなかったのです。

さらに、非常に深い残差ネットワークの訓練では、特徴の再利用が減っていく(diminishing feature reuse)という問題が起こります。論文はこの問題のために、深いネットワークの訓練がとても遅くなると指摘しています。深さを積み増す方向には、精度の伸びに対するコストと訓練の効率の両方で限界が見えていたことになります。

深さの代わりに幅を広げるという発想の転換

そこで著者らは、ResNetのブロックの構造を詳しく実験で調べました。その結果に基づいて提案したのが、深さを減らし、幅を増やした残差ネットワークです。ここでいう幅とは、ブロック内の畳み込み層が持つチャネル数のことです。著者らはこの構造をwide residual networks(WRN)と名付けました。

論文の中心となる主張は、ResNetのブロックを広げることは、適切に行えば、深さを増やすよりもはるかに効果的に残差ネットワークの性能を高める方法だ、というものです。性能を上げるには層を深くする、という当時の流れに対して、別の軸を示した点にこの手法の意義があります。

浅いWRNが超深層のResNetを上回った結果

論文では、次のような結果が報告されています。

• わずか16層のWRNが、1000層級を含むそれまでのすべての深い残差ネットワークを、精度と効率の両面で上回りました。
• 16層のWRNは、1000層の細い(thin)ネットワークと同じ精度を持ち、パラメータ数も同程度でありながら、訓練は数倍速くなりました。
• 元のResNetと比べて層の数が50分の1でありながら、大きく性能を上回り、2倍以上速く動作しました。
• CIFAR、SVHN、COCOで当時の最高水準の結果を達成し、ImageNetでも大きな改善を示しました。

層を大幅に減らしても、幅を広げれば精度を保つどころか上回ることができ、しかも訓練が速くなるという点が重要です。

WRN-n-kという表記の読み方

論文では、ネットワークをWRN-n-kという形で表します。nは畳み込み層の総数、kは幅を何倍にするかを表す拡大率(widening factor)です。たとえば、畳み込み層が40層で、元のネットワークより2倍広いものはWRN-40-2と書きます。

また、k = 1の元の残差ネットワークを細い(thin)ネットワーク、k > 1のネットワークを広い(wide)ネットワークと呼び分けます。数字の並びを見れば、深さと幅の設定がひと目で分かる表記です。

ドロップアウトは畳み込み層の間に入れる

幅を広げると、パラメータの数が増えます。そのため著者らは、過学習を抑える正則化の方法も検討しました。その結論は、ドロップアウトを畳み込み層と畳み込み層の間に挿入すべきだ、というものです。

広い残差ネットワークでの実験では、この入れ方によって一貫した改善が得られました。たとえば、ドロップアウトを入れた16層のWRNは、SVHNで誤り率1.64%という当時の最高水準の結果を達成しています。幅を広げる設計と、それに伴うパラメータ増加への対策がセットで提案されている点を押さえておくとよいでしょう。

Wide ResNetから読み取れること

Wide ResNetが示したのは、ネットワークの性能を高める手段は深さだけではない、ということです。深くしすぎると特徴の再利用が減り、訓練も遅くなります。それに対して、ブロックの幅を広げることで、浅いネットワークでも高い精度と速い訓練を両立できることを実験で示しました。深さと幅のどちらを増やすかという設計上の問いに、具体的な答えを与えた研究だといえます。