ResNet

ResNetとは何か

ResNetは、2015年に発表された画像認識のためのニューラルネットワークです。提案したのはカイミン・ホー(Kaiming He)、シャンユ・ジャン(Xiangyu Zhang)、シャオチン・レン(Shaoqing Ren)、ジエン・スン(Jian Sun)の4人で、論文の題名は「Deep Residual Learning for Image Recognition」です。ResNetという呼び名は、この論文の中心にある残差学習(residual learning)という考え方から来ています。

ResNetの特徴は、数層のまとまりへの入力がそのまま出力へ足し合わされる配線にあります。この配線によって、層に学習させる中身を「入力との差」に変えました。論文はこの仕組みで152層という深いネットワークを学習させ、画像認識の競技会で1位を得ています。

層を深くすると学習が難しくなる劣化問題

画像認識のネットワークは、層を重ねて深くするほど複雑な特徴を捉えられると期待されます。ところが実際には、層を増やしたネットワークのほうが学習がうまく進まないことがありました。論文はこの現象を劣化問題(degradation problem)と呼んでいます。

注意したいのは、論文がこの悪化を過学習によるものではないと明記している点です。過学習は、訓練データには合っていても未知のデータで性能が落ちる現象を指します。劣化問題はそれとは別の現象であり、深いネットワークでは学習そのものが難しくなるという問題として扱われています。ResNetは、この劣化問題に対する答えとして提案されました。

残差を学習させるという発想

数層のまとまりに学ばせたい本来の対応関係を $H(x)$ とします。$x$ はそのまとまりへの入力です。従来の考え方では、層を重ねて $H(x)$ そのものを直接学習させます。

ResNetでは、まとまりの層に $H(x)$ ではなく、入力との差である残差を学習させます。

$$F(x):=H(x)-x$$

まとまり全体の出力は、層が計算した $F(x)$ に入力 $x$ をそのまま足した $F(x)+x$ です。式を変形すると $F(x)+x=H(x)$ になるので、まとまり全体として表したい対応関係は変わっていません。変わったのは、層に何を担当させるかという分担です。

具体例で考えます。あるまとまりにとって、入力をほぼそのまま次へ渡すことが望ましい働きだったとします。$H(x)$ を直接学ぶ方式では、層の重みを調整して入力を再現する働きを作り上げる必要があります。残差を学ぶ方式では、式の上では $F(x)$ を0に近づければ、出力は $x$ にほぼ等しくなります。層が付け加える分だけを学ぶ形にしたことで、152層という深さでも学習が進んだと論文は報告しています。

ショートカット結合の仕組み

論文はショートカット結合(shortcut connection)という配線を使っています。入力 $x$ を層の計算に通さずに出力側へ運び、$F(x)$ に足し合わせるものです。層を飛び越えて情報を後ろへ渡すこの種の配線は、一般にスキップ結合とも呼ばれます。

ResNetのショートカット結合は恒等写像です。恒等写像とは、入力に手を加えずにそのまま出力する写像のことです。そのため、この配線は重みのような新しいパラメータを持たず、計算量も増やしません。層を深くすればその層の重みは増えますが、足し合わせる配線そのものが重みを増やすわけではありません。

ImageNetでの評価と競技会の結果

論文は、大規模な画像データセットImageNetで、152層のネットワークを評価しました。このネットワークは、同じ画像認識のモデルであるVGGnetより層の数が多い一方で、計算の複雑さはVGGnetより低いと報告されています。深さを増やしながら計算の重さを抑えた点が、この結果の特徴です。

ILSVRC 2015(ImageNetを使った大規模画像認識の競技会)の分類タスクでは、複数のResNetを組み合わせたアンサンブルがtop-5エラー率3.57%を記録し、1位になりました。top-5エラー率は、モデルが確からしいと判断した上位5つの候補の中に正解が含まれなかった画像の割合です。値が小さいほど、正解を上位の候補に挙げられていることを表します。

読み違えやすい点

層を深くすると性能が落ちる理由を過学習で説明すると、論文の主張とずれます。ResNetが対象にした劣化問題は、過学習ではないと論文自身が述べている現象です。

層を遡るにつれて勾配が小さくなる勾配消失問題とも混同しやすいので注意が必要です。このページで扱っているのは、ResNetの論文が取り上げた劣化問題です。

ショートカット結合は、それ自体では学習するパラメータを持ちません。ResNetの層が深くなって増えるのは各層の重みであり、足し合わせる配線の側には学習する値がありません。