転移学習

転移学習が指すこと

転移学習(transfer learning)は、ある設定で学んだことを別の設定での汎化の向上に利用することを指します。汎化とは、学習に使ったデータだけでなく、まだ見ていない新しいデータに対してもモデルがうまく働くことです。

この説明は、イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による2016年の教科書「Deep Learning」の第15章15.2節に基づきます。同書は、2つの設定をデータを生み出す分布の違いとして書き分けています。最初の設定の分布を $P_1$、次の設定の分布を $P_2$ と呼びます。分布とは、どのようなデータがどのくらいの頻度で現れるかを表したものです。転移学習では、$P_1$ から得たデータで学んだことを $P_2$ での学習に役立てます。

同書によれば、転移学習では学習する側が2つ以上の異なる課題をこなします。そのうえで、$P_1$ に見られるデータのばらつきを説明する要因の多くが、$P_2$ を学ぶときに捉えるべきばらつきにも関係している、と仮定します。

猫と犬の分類からアリとハチの分類へ

同書が挙げる例は、画像の分類です。最初の設定では、猫と犬のような1組の見た目の種類を見分けることを学びます。次の設定では、アリとハチのような別の1組の種類を見分けることを学びます。

この例では、入力はどちらも画像で、種類は変わりません。変わるのは、答えとして求める目標の中身です。同書は、転移学習は教師あり学習の文脈で理解されることが多く、そこでは入力は同じでも、目標の性質が違いうると説明しています。教師あり学習とは、入力と正解の組を使って、入力から正解を出せるように学ぶ方法です。

同書はさらに、最初の設定のデータが次の設定より大幅に多い場合について述べています。そのときは最初の設定で役に立つ表現を学ぶことができ、次の設定ではごく少数の例からでも素早く汎化できるようになるかもしれない、という説明です。表現とは、入力をモデルの内部で特徴の組として表したものを指します。手元にアリとハチの画像がわずかしか無くても、猫と犬の画像を大量に使って学んだ表現が役立つ可能性がある、ということです。

前の設定で学んだことが役立つ理由

前の設定の学習が次の設定で役立つのは、2つの設定に共通する要因があるときです。同書は、転移学習・マルチタスク学習・ドメイン適応のいずれも、複数の設定や課題に役立つ特徴があれば表現学習によって実現できると述べています。表現学習とは、役に立つ表現そのものをデータから学ぶことです。ここでいう役立つ特徴は、複数の設定に共通して現れる、データの背後にある要因に対応しています。

画像の例に当てはめると、猫と犬を見分けるために学んだ特徴のうち、アリとハチを見分けるときにも使えるものがあれば、それが2つの設定をつなぐ共通部分になります。

同書は、共有されるものが入力の側にあるとは限らないとも書いています。複数の課題の間で共有されるのが、入力の意味ではなく出力の意味である場合もある、という指摘です。転移学習で何が引き継がれるかは、設定の組み合わせによって違うということです。

ドメイン適応との違い

同書は、転移学習と関連の深い場合としてドメイン適応(domain adaptation)を挙げ、両者を区別しています。ドメイン適応では、課題と、入力から出力への最適な対応づけは設定の間で同じままです。違うのは入力の分布で、それも少しだけ違います。

同書はドメイン適応の例として感情分析を挙げています。感情分析とは、あるコメントが肯定的な気持ちを表しているか否定的な気持ちを表しているかを判定する課題です。肯定か否定かを判定するという課題そのものは変わらず、判定の対象として届くコメントの分布が設定ごとに少し違う場合が、ドメイン適応にあたります。

見分けるときは、答えとして求めるものが変わったかどうかを見ます。求める答えの種類が変わっていれば転移学習、答えの種類は同じで入力の傾向だけが少し変わっていればドメイン適応です。

マルチタスク学習との関係

マルチタスク学習は、複数の課題を一緒に学習させる方法で、同書では7.7節で扱われています。同書は15.2節で、転移学習・マルチタスク学習・ドメイン適応の3つを並べ、どれも複数の設定や課題に共通して役立つ特徴があるときに表現学習によって実現できると述べています。

3つに共通するのは、ある課題や設定のために学んだ表現が、別の課題や設定でも使えるという考え方です。違いは、どの場面を問題にしているかにあります。転移学習は、前の設定で学んだことを次の設定での汎化に役立てる場面を指します。ドメイン適応は、その中でも課題が同じで入力の分布だけが少し違う場面を指し、同書は転移学習と関連する別の場合として扱っています。

事前学習とファインチューニングとの位置づけ

同書の15.2節は、転移学習の説明の中で、この考え方は直前の節で示した考えを一般化したものだと書いています。直前の15.1節で扱われているのは、教師なし学習の課題と教師あり学習の課題の間で表現を移すやり方です。教師なし学習とは、正解の付いていないデータから構造を学ぶ方法です。

このため、先に教師なし学習の課題で表現を学び、その表現を教師あり学習の課題へ移して学習を進めるやり方は、転移学習という広い考え方の中の1つの形として位置づけられます。前の段階で表現を学ぶ工程は事前学習と呼ばれます。移した先の課題での教師あり学習の段階には2つのやり方があり、事前学習で得た特徴の上に分類器だけを学習させる場合と、事前学習したネットワーク全体を教師ありで微調整する場合があります。後者の、ネットワーク全体を微調整するやり方をファインチューニングと呼び、必ず行われる決まった手順ではありません。転移学習は特定の手順の名前ではなく、学んだことを別の設定へ引き継いで汎化に役立てるという、より広い枠組みを指す語です。

前提として置かれていること

同書の説明には、成り立つための前提がはっきり書かれています。1つ目は、$P_1$ のばらつきを説明する要因の多くが、$P_2$ で捉えるべきばらつきにも関係しているという仮定です。2つの設定に共通する要因が無ければ、前の設定で学んだ表現を次の設定で使える根拠がありません。

2つ目は、少数の例からの汎化についての言い方です。同書は、最初の設定に大幅に多くのデータがあれば、少数の例から素早く汎化する助けになるかもしれない、と控えめに述べています。転移学習をすれば必ず精度が上がる、とは書いていません。転移学習が役立つかどうかは、2つの設定がどれだけ共通する要因を持っているかと、最初の設定にどれだけデータがあるかに左右されます。