カットアウト

背景にあるCNNの過学習

畳み込みニューラルネットワーク(CNN)は、複雑な学習課題を解くのに必要な、表現力の高い表現を学習できます。ただし、そうした表現を捉えるには大きなモデル容量が必要です。そのためCNNは過学習を起こしやすく、よく汎化させるには適切な正則化が欠かせません。

カットアウトは、この問題に対して提案された正則化の手法です。訓練中に入力画像の正方形の領域を無作為にマスク(遮蔽)するだけで、CNNの頑健性と全体的な性能を改善できると報告されています。実装がきわめて簡単なうえ、既存のデータ拡張や他の正則化手法と組み合わせると、モデルの性能をさらに改善できるとされています。

データ拡張としての見方

カットアウトは、入力画像のうち連続した部分を取り除きます。これは、既存のサンプルの一部を隠した版をデータセットに加えることと実質的に同じです。そのため、カットアウトはデータ拡張としても働きます。

ドロップアウトとの関係

カットアウトは、入力空間でのドロップアウトの拡張として解釈できます。ただし、ばらばらの要素を無作為に落とすのではなく、連続した領域をまとめて取り除きます。つまり空間的な偏り(事前の仮定)が加わっています。これは、CNNが空間的な偏りを取り入れることで、標準的なニューラルネットワークの構造より性能を高めているのとよく似たやり方です。

実装の方法

• 訓練の各エポックで、固定サイズのゼロマスクを各入力画像の無作為な位置に適用する
• ドロップアウトやその派生手法と異なり、テスト時に重みの再スケーリングは行わない
• 最良の性能を得るには、データセットを0を中心に正規化しておく。こうしておくと、マスクで書き換えた画像がバッチの統計量の期待値に大きな影響を与えにくくなる

マスク領域の形と置き方

実験では、マスク領域の形よりも大きさの方が重要なハイパーパラメータだと分かりました。そのため、単純にするために正方形のパッチをマスク領域として使います。

置き方は、画像内の画素座標を無作為に1つ選んで中心点とし、その周りにマスクを置くというものです。この方法では、マスクの一部が画像の外にはみ出すことがあります。論文では、パッチ全体を画像の中に収めるよう制約するよりも、画像の境界の外にはみ出すことを許す方が、高い性能を得るうえで重要だったと報告されています。

無作為に取り除くだけで十分

固定サイズの領域を無作為に取り除く方法は、特徴量として重要な領域を狙って取り除く方法と同程度の性能を示しました。しかも無作為な方法では、特徴マップを操作する必要がありません。この単純さから、論文の実験はすべて固定サイズの領域を取り除く方法で行われています。

評価には、自然画像認識のデータセットであるCIFAR-10、CIFAR-100、SVHN、STL-10が使われました。