ミックスアップ

ミックスアップが向き合った問題

大規模な深層ニューラルネットワークは強力な一方で、望ましくない振る舞いを示すことがあります。訓練データを丸暗記してしまうことや、敵対的サンプルに敏感に反応してしまうことがその例です。ミックスアップ(mixup)は、こうした問題を和らげるために提案された、単純な学習の原理です。

2つの事例を混ぜて仮想的な事例を作る

ミックスアップでは、訓練データから無作為に2つの事例(x_i, y_i)と(x_j, y_j)を取り出し、それらを混ぜ合わせて仮想的な訓練事例を作ります。

x_tilde = λ*x_i + (1-λ)*x_j

y_tilde = λ*y_i + (1-λ)*y_j

x_iとx_jは加工していない入力ベクトル、y_iとy_jはone-hotで符号化したラベルです。λは0から1の範囲の値です。入力どうしとラベルどうしを同じ比率λで混ぜる点が要です。たとえばλが0.7なら、入力はx_iを7割、x_jを3割混ぜたものになり、ラベルもy_iに0.7、y_jに0.3の重みを持つものになります。

この手法を構成するのは、入力の無作為な凸結合と、それに対応するone-hotラベルの凸結合の2つだけです。数行のコードで実装でき、増える計算量もごくわずかです。特定の種類のデータを前提としない(data-agnostic)データ拡張の手法として位置づけられています。

訓練データの分布に事前知識を組み込む

この操作は、特徴ベクトルを線形に補間したら、対応する目的変数も線形に補間されるべきだという事前知識を、訓練データの分布に組み込むものです。つまり、訓練データの分布を広げていると見ることができます。その結果、ネットワークは訓練事例と訓練事例の間で単純な線形の振る舞いをとるように正則化されます。

ハイパーパラメータα

混ぜる比率λは、ベータ分布Beta(α, α)からサンプリングします。αは0より大きい値をとるハイパーパラメータで、特徴と目的変数の組どうしの補間の強さを制御します。論文の実験ではα=1に固定しています。このときλは0から1の間の一様分布に従います。

報告されている効果

論文では、ImageNet-2012、CIFAR-10、CIFAR-100、Google commands、UCIのデータセットで実験し、次の効果を報告しています。

• CIFAR-10、CIFAR-100、ImageNet-2012の画像分類で、当時の最新の性能を達成した
• 誤ったラベルを含むデータから学習するとき、そのラベルの丸暗記を抑えた
• 敵対的サンプルに対する頑健性を高めた
• 音声データや表形式データでも汎化性能を改善した
• GAN(敵対的生成ネットワーク)の訓練を安定させた

仕組みは単純ですが、画像以外のデータや生成モデルの訓練にまで効果が及ぶ点が特徴です。