GoogLeNet

GoogLeNetとInceptionアーキテクチャの関係

GoogLeNetは、Inceptionというコードネームで提案された深層畳み込みニューラルネットワークのアーキテクチャを、具体的な一つのネットワークとして実装したものです。Inceptionは設計の考え方と構造の総称で、GoogLeNetはその考え方にもとづいてILSVRC2014(ImageNet Large-Scale Visual Recognition Challenge 2014)への提出に使われた実装を指します。GoogLeNetは22層の深さを持つネットワークで、その性能は画像の分類と物体の検出という2つの課題で評価されました。

Inceptionという名前は、先行研究であるNetwork in networkの論文に由来します。Inceptionモジュールという形でネットワークの構成を模した結果、複雑さが増したことと、より直接的な意味でネットワークの深さが増したことの両方にかけた命名です。

計算資源を効率よく使うという設計目標

このアーキテクチャの最大の特徴は、ネットワーク内部の計算資源の使い方を改善した点にあります。計算量の予算を一定に保ったまま、ネットワークの深さと幅を増やせるように、慎重に設計されています。単に層を積み重ねて大きくするのではなく、限られた計算量の中でどこまで深く広いネットワークを組めるかを追求した設計だといえます。

Inceptionモジュールの並列構造

Inceptionアーキテクチャの基本的な考え方は、畳み込みによる視覚処理のネットワークにおいて最適な局所的に疎な構造を、すぐに利用できる密な構成要素で近似し、覆うことにあります。

この考え方を具体化したのがInceptionモジュールです。パッチの位置合わせの問題を避けるため、フィルタのサイズは1x1、3x3、5x5の3種類に限られています。1つのモジュールの中では、これら異なるサイズの畳み込み層が並列に置かれ、それぞれの出力のフィルタバンクを連結して1つの出力ベクトルにまとめます。この連結された出力が、次の段の入力になります。

さらに、当時の最先端の畳み込みネットワークではプーリング処理が成功に欠かせない要素だったことから、各段にプーリングの経路を並列にもう1本加えることにも効果があると考えられました。そのため、Inceptionモジュールは、1x1、3x3、5x5の畳み込みと並列のプーリング経路を組み合わせ、その出力を連結する構造になっています。

1x1畳み込みによる次元削減

素朴な形のInceptionモジュールには大きな問題がありました。フィルタ数の多い畳み込み層の上に5x5の畳み込みを重ねると、その数がわずかであっても計算コストが非常に大きくなってしまうのです。

この問題への対策として、次元削減を組み込んだInceptionモジュールが示されました。この構造では、3x3と5x5の畳み込みの前に1x1の畳み込みを置きます。1x1の畳み込みでまずチャネル数を減らし、そのあとで3x3や5x5の畳み込みを行うことで、計算コストを抑えています。先に述べた、計算量の予算を一定に保ちながら深さと幅を増やすという設計目標を実現するうえで、この1x1畳み込みによる次元削減が重要な役割を果たしています。

ILSVRC2014での成果

Inceptionアーキテクチャは、ILSVRC2014の分類と検出の両方で新たな最高水準を打ち立てました。その提出に使われた具体的な実装がGoogLeNetです。22層という深さを持ちながら、1x1畳み込みによる次元削減などの工夫で計算資源を効率よく使ったことが、このアーキテクチャの特徴として示されています。

学習のうえで押さえたい点

GoogLeNetを理解するときは、次の関係を整理しておくと混乱しにくくなります。Inceptionはアーキテクチャの名前で、GoogLeNetはその一実装です。Inceptionモジュールは異なるサイズのフィルタとプーリングを並列に並べて出力を連結する部品で、1x1畳み込みはその部品の計算コストを抑えるための次元削減に使われます。