FCN

分類ネットワークを全畳み込みに作り替える

FCN(Fully Convolutional Network、全畳み込みネットワーク)は、画像の分類向けに作られた畳み込みネットワークを、セマンティックセグメンテーションに使える形へ作り替えたネットワークです。提案した論文では、当時の代表的な分類ネットワークであるAlexNet、VGG、GoogLeNetを全畳み込みネットワークに変換し、分類で学習済みの表現をファインチューニングによってセグメンテーションのタスクへ移しています。

出発点にある考え方は、畳み込みネットワークが特徴の階層を生み出す強力な視覚モデルであるという点です。論文は、畳み込みネットワークそのものを画素から画素へend-to-endで学習させるだけで、セマンティックセグメンテーションの当時の最高水準を上回れることを示しました。追加の仕組みに頼らずにこの結果を出したことが、この手法の要点です。

画素単位の予測をend-to-endで学習する

論文によれば、FCNは次の2点で最初の試みだとされています。1つ目は、画素ごとの予測のためにFCNをend-to-endで学習させたことです。2つ目は、教師あり学習で事前に学習したネットワークを出発点にして、その学習を行ったことです。

学習と推論は、どちらも画像全体を一度に扱って行います。密な順伝播の計算と誤差逆伝播によって、画像1枚分の出力をまとめて計算し、まとめて学習します。ネットワークの内部にアップサンプリングの層を持つことで、画素ごとの予測が可能になります。

任意サイズの入力から密な出力を得る

既存のネットワークを全畳み込みにした版は、任意のサイズの入力から密な出力を予測できます。分類ネットワークが画像全体に対して1つの答えを返すのに対し、FCNは入力画像の各位置に対応する予測を並べた出力を返します。この性質が、画素単位の予測を求めるセマンティックセグメンテーションに合っています。

深い層と浅い層を組み合わせるskipアーキテクチャ

論文は、新しいアーキテクチャとしてskipアーキテクチャを定義しています。ネットワークの深い層は粗い一方で意味の情報を持ち、浅い層は細かい一方で見た目の情報を持ちます。skipアーキテクチャは、深く粗い層の意味情報と、浅く細かい層の見た目情報を組み合わせます。これによって、正確で細部まで表れたセグメンテーションを出力することを狙っています。

逆畳み込み層で学習するアップサンプリング

アップサンプリングには逆畳み込み層を使います。この層のフィルタは、双線形補間によるアップサンプリングのような固定のものである必要はなく、学習によって決めることができます。さらに、逆畳み込み層と活性化関数を積み重ねれば、非線形なアップサンプリングを学習させることもできると論文は述べています。粗い出力を元の解像度へ戻す処理そのものを、ネットワークの一部として学習の対象にできる点が特徴です。

報告された成果

論文では、FCNがPASCAL VOC、NYUDv2、SIFT Flowのセグメンテーションで当時の最高水準を達成したと報告されています。PASCAL VOC 2012では、mean IUが62.2%に達し、相対で20%の改善となりました。推論にかかる時間は、典型的な画像1枚あたり5分の1秒未満です。