インスタンス正規化

何を揃える技術か

ニューラルネットワークの中間の層は、入力画像から取り出した特徴をチャンネルと呼ばれる何枚もの平面に分け、数値の並びとして次の層へ渡します。この1枚1枚の平面を特徴マップと呼びます。正規化とは、こうした数値の平均と散らばりを一定の大きさに揃えて、層から層へ渡る値が極端に大きくなったり偏ったりしないようにする処理の総称です。

インスタンス正規化は、この正規化を「データ1件ごと、チャンネルごと」という最も細かい単位で行う技術だと一般に説明されます。インスタンスとは、ここではまとめて処理されるデータのうちの1件、画像なら1枚のことです。ある画像のあるチャンネルに含まれる縦と横のすべての値から平均と分散を求め、その平均を引いて標準偏差で割ります。多くの実装では、そのあとに学習で決まる係数で値を拡大し、平行移動させます。

入力と出力の形は変わりません。縦32、横32の特徴マップが64チャンネルある画像を1枚入れれば、同じ形の数値が1枚分出てきます。変わるのは値の大きさだけで、各チャンネルの値がそれぞれ平均0、分散1の近くに揃えられます。

画風変換の論文で示されたこと

この名前で知られる代表的な論文が、ドミトリー・ウリヤノフ(Dmitry Ulyanov)、アンドレア・ヴェダルディ(Andrea Vedaldi)、ヴィクトル・レンピツキー(Victor Lempitsky)による2016年の論文「Instance Normalization: The Missing Ingredient for Fast Stylization」です。題名の Fast Stylization は、写真に絵画のような画風を高速に移す処理、つまり画風変換(スタイル変換)を指します。

論文の要旨によると、この研究はウリヤノフらが同じ年に示した高速な画風変換の手法を見直したものです。変更点はバッチ正規化をインスタンス正規化に置き換えることと、インスタンス正規化を訓練時だけでなく推論時(学習済みのネットワークで実際に画像を変換するとき)にも適用することに限られる、と明記されています。ネットワークの構造や学習のやり方には手を入れず、正規化の方式を1か所入れ替えただけで、生成される画像の質が大きく向上したと報告されています。題名は、インスタンス正規化を高速な画風変換に「欠けていた材料(The Missing Ingredient)」と呼んでいます。

なぜ質が上がるのかについて、一般には、画像1枚ごとの明るさやコントラストの違いをチャンネル単位で打ち消せるため、元の写真の条件に引きずられずに画風を載せやすくなるからだと説明されます。ただし、ここで根拠にした要旨には、この理由の詳しい説明は書かれていません。

小さな数で見る計算の範囲

ここからは一般的な定義に沿った計算の例です。ある画像のあるチャンネルが、縦2、横2の4つの値 2、4、6、8 でできているとします。

平均は (2+4+6+8)÷4=5 です。分散は、平均からの差の2乗 9、1、1、9 の平均で 5 になり、標準偏差は約2.24です。それぞれの値から5を引いて2.24で割ると、およそ マイナス1.34、マイナス0.45、0.45、1.34 になります。元の値が 20、40、60、80 のように10倍になっていても、同じ計算をすると結果は同じ4つの値になります。値全体の大きさの違いが消え、並び方の違いだけが残るということです。

この計算は、同じ画像の別のチャンネルとも、同時に処理している別の画像とも混ぜません。4枚の画像をまとめて入れ、それぞれが64チャンネルを持つなら、平均と分散の組は 4×64=256 組求めることになり、1組はそのチャンネルの縦32×横32=1024個の値から計算されます。

バッチ正規化との違い

バッチ正規化は、ミニバッチ(学習データから取り出した少数のデータのまとまり)ごとに平均と分散を計算し、正規化する手法です。平均と分散を求めるときに、まとめて処理している複数のデータの値を一緒に使う点が出発点になっています。

インスタンス正規化は、平均と分散を求める範囲を1件のデータの中に閉じます。そのため、ある画像の出力は、たまたま同じミニバッチに入った他の画像が何であっても変わりません。画風変換の論文が、訓練時と推論時の両方でインスタンス正規化を使うと明記しているのも、どちらの場面でも1枚の画像だけで同じ計算ができるからです。

平均と分散を求めて正規化するという点は両者に共通で、違うのは「どの値をまとめて平均と分散を出すか」という範囲です。この範囲の違いが、使われる場面の違いにつながっています。

レイヤー正規化とグループ正規化との関係

1件のデータの中で正規化する方式は、インスタンス正規化のほかにもあります。一般に、レイヤー正規化は1件のデータに含まれるすべてのチャンネルの値をまとめて1組の平均と分散を求め、グループ正規化はチャンネルをいくつかのグループに分けてグループごとに求める方式だと説明されます。

この見方では、インスタンス正規化は、グループ正規化でグループの大きさを1チャンネルにした場合に当たります。1件のデータの中で「全チャンネルを1つに」「チャンネルをいくつかずつ」「1チャンネルずつ」と、まとめる単位が細かくなっていく順に並べると、3つの関係を整理できます。

使う場面と気をつける点

インスタンス正規化が代表的に使われるのは、画風変換のように、1枚の画像を入れて1枚の画像を作るネットワークです。敵対的生成ネットワーク(GAN)などの画像生成のネットワークでも、一般に用いられることがあるとされます。

気をつけたいのは、この方式がチャンネルごとの明るさや値の偏りそのものを消してしまう点です。画像全体が明るいか暗いかといった情報が答えの手がかりになる課題では、その手がかりまで取り除くおそれがあります。

また、定義から次のことも分かります。特徴マップの縦と横がどちらも1のように小さくなると、1チャンネルに含まれる値が1個だけになり、平均はその値そのもので分散は0になります。この場合、正規化した値は常に0になり、元の値の違いが残りません。空間の広がりが十分にある層で使うことが前提になる技術です。