カットミックス

領域を落とす手法の課題

畳み込みニューラルネットワークの分類器の性能を高める手法として、画像の一部の領域を落とす正則化の手法(regional dropout)が提案されてきた。これらの手法は、対象の目立たない部分にもモデルを注目させる(論文の例では、人物の頭ではなく脚)。その結果、汎化性能と物体の位置を特定する能力が高まる。一方で従来の手法は、黒い画素かランダムノイズのパッチを訓練画像に重ね、情報を持つ画素を消してしまう。論文は、この除去が情報の損失と訓練の非効率を招くので望ましくないと指摘し、カットミックスを提案した。

仕組み: 切り取って貼り、ラベルも混ぜる

カットミックスでは、訓練画像どうしでパッチを切り取って貼り付け、正解ラベルもパッチの面積に比例して混ぜる。訓練画像を x(幅W・高さH・チャネル数Cの配列)、そのラベルを y とする。2つの訓練事例 (x_A, y_A) と (x_B, y_B) を組み合わせて、新しい訓練事例 (x_tilde, y_tilde) を作る。

x_tilde = M ⊙ x_A + (1-M) ⊙ x_B

y_tilde = λ*y_A + (1-λ)*y_B

M は0と1からなる W×H の二値マスクで、どこを削り、どこをもう一方の画像で埋めるかを示す。式の中の1はすべての要素が1の二値マスク、⊙ は要素ごとの掛け算である。作った事例は、元の損失関数のままモデルの訓練に使う。

混合比λとマスクの決め方

2つの事例の混合比λは、ミックスアップと同じくベータ分布 Beta(α, α) からサンプリングする。論文のすべての実験では α=1 としており、λは0から1の一様分布から取られる。

マスクMを作るには、まず切り取る領域を表す境界ボックスの座標 B=(r_x, r_y, r_w, r_h) をサンプリングする。そのうえで x_A の領域 B を取り除き、x_B の同じ領域 B から切り出したパッチで埋める。

ミックスアップとの違い

混合比の取り方はミックスアップと共通している。大きな違いは、カットミックスが画像の一部の領域を、別の訓練画像から切り出したパッチで置き換える点にある。論文は、これによりミックスアップより局所的に自然な画像を生成できると述べている。また、消した領域を黒い画素やノイズではなく別の訓練画像の画素で埋めるため、訓練画像の画素を無駄なく使える。そのうえで、領域を落とす手法の正則化の効果も保たれる。

報告された効果

論文は、CIFAR と ImageNet の分類、ImageNet の弱教師あり位置特定の各タスクで、カットミックスが当時最先端のデータ拡張の手法を一貫して上回ったと報告している。ミックスアップやカットアウト(Cutout)と同じ表で比べた結果として、次の数値が示されている。

• ImageNet 分類(ResNet-50): ベースライン 76.3% に対し、カットミックス適用で 78.6%
• ImageNet 位置特定: ベースライン 46.3% に対し 47.3%
• Pascal VOC 検出: ベースライン 75.6 mAP に対し 76.7 mAP