ランドオーグメント

どんな手法か

ランドオーグメント(RandAugment)は、画像のデータ拡張を自動で設計する手法の一つです。先行する自動化された手法は、膨大な数の方策の候補から良いものを探していました。ランドオーグメントは、調整するパラメータを2つにまで減らしました。

解決しようとした問題

データ拡張は深層学習のモデルの汎化性能を大きく高めうることが示されています。自動化されたデータ拡張の手法は、画像分類や物体検出で最高水準の結果を出してきました。しかし、これらの手法を広く使うには2つの障害がありました。

1つ目は、訓練とは別に探索の段階が必要なことです。この段階が訓練の複雑さを増し、計算コストを大きく押し上げることがあります。

2つ目は、探索の段階が訓練と分かれているため、モデルやデータセットの大きさに応じて正則化の強さを調整できないことです。実際には、小さいモデルを小さいデータセットで訓練して方策を見つけ、それを大きなモデルの訓練に流用することが多く行われていました。

ランドオーグメントは探索空間を大幅に小さくしました。そのため、代わりの小さな課題(proxy task)を用意せずに、目的の課題の上で直接調整できます。

変換の選び方

従来の手法は、どの変換をどの確率で適用するかを方策として学習していました。ランドオーグメントはこれを、パラメータを持たない手続きに置き換えます。K種類の変換の候補から、常に一様な確率1/Kで1つを選ぶという手続きです。パラメータを減らしながら、画像の多様性を保つための工夫です。1枚の訓練画像にN個の変換を適用する場合、表現できる方策はKのN乗通りになります。

変換の強さを1つにまとめる

各変換の強さ(magnitude)は、先行研究にならって0から10の整数の尺度で表します。10がその変換の最大の強さです。従来はこの強さを変換ごとに決める必要がありました。この論文では、学習された各変換の強さが訓練中に似た推移をたどることに注目しました。そして、すべての変換に共通する1つの大域的な歪みの強さMで足りるだろうと仮定しました。

残るパラメータはNとM

こうしてアルゴリズムは、適用する変換の数Nと共通の強さMの2つのパラメータだけで表せるようになりました。Pythonのコード2行で書けるほど単純です。どちらのパラメータも人間が意味を読み取りやすく、NとMを大きくするほど正則化が強くなります。

探索空間の比較

AutoAugment、Fast AutoAugment、Population Based Augmentationといった他の自動化されたデータ拡張の手法は、10の32乗から10の61乗程度の方策を候補とする探索空間を持ちます。ランドオーグメントの探索空間は10の2乗程度にすぎませんが、予測性能はそれらの手法と同等かそれ以上です。