DenseNet

深くなるほど情報と勾配が消えていく課題

畳み込みニューラルネットワーク(CNN)は、層を深くするほど表現力を高められます。一方で、層が深くなると新しい課題が生まれます。入力の情報や勾配が多くの層を通過するうちに弱まって消えてしまい、ネットワークの終端(勾配の場合は始端)に届くころには失われてしまうという課題です。多くの研究がこの課題や関連する課題に取り組んできました。

その中で、入力に近い層と出力に近い層のあいだに短い接続を持たせると、畳み込みネットワークをかなり深く、より高精度に、そして効率よく学習させられることが示されてきました。DenseNet(Dense Convolutional Network)は、この観察を全面的に取り入れた構造です。

すべての層をそれ以降のすべての層へつなぐ密な接続

DenseNetの特徴は、各層をそれ以降のほかのすべての層へ、フィードフォワードの形で直接つなぐことです。具体的には、次の2つの性質を持ちます。

• 各層は、それより前にあるすべての層の特徴マップを入力として受け取ります。
• 各層が出力した特徴マップは、それより後にあるすべての層への入力として使われます。

このため、ある層の出力は途中の層を1つずつ経由しなくても、後ろの層へ直接届きます。情報や勾配が長い経路を通って薄まる前に、短い経路で行き来できるようになります。

接続数の式 L(L+1)/2 が表すこと

L層からなる従来の畳み込みネットワークでは、各層とその直後の層のあいだに1本ずつ接続があるので、接続はL個です。これに対してDenseNetは、L(L+1)/2個の直接接続を持ちます。

たとえばL=5の場合、従来型の接続は5個ですが、L(L+1)/2の式に当てはめると5x6を2で割って15個になります。層を増やすほど、従来型との接続数の差は大きく広がります。この式は、層どうしがどれだけ密につながっているかを数で示したもので、DenseNetという名前の由来である密な接続(dense connectivity)を表しています。

成長率kと密ブロック

DenseNetでは、密に接続された層のまとまりを密ブロック(dense block)と呼びます。密ブロックを説明するときに使われるのが成長率(growth rate)kという考え方です。

1つの密ブロックの中では、各層がそれより前のすべての特徴マップを入力として受け取ります。そのうえで各層がk枚の新しい特徴マップを加えていくと考えると、層が進むにつれて後ろの層が受け取る特徴マップが少しずつ増えていくイメージがつかめます。論文の図では、成長率k=4の5層の密ブロックが示されています。

DenseNetの利点と評価

密な接続によって、DenseNetには次の利点があるとされています。

• 勾配消失問題を緩和します。
• 特徴の伝播を強化します。
• 特徴の再利用を促します。
• パラメータ数を大幅に削減します。

この構造は、CIFAR-10、CIFAR-100、SVHN、ImageNetという4つの物体認識のベンチマークで評価されました。その多くで当時の最先端の手法を大きく上回り、しかも高い性能を得るのに必要な計算量はより少なかったと報告されています。