事前学習

事前学習とは

事前学習は、ニューラルネットワークに本来学ばせたい課題の学習を始める前に、別の学習を先に行って重みの初期値を整えておく段階です。重みとは、ネットワークの各層が入力から出力を計算するときに使う数値のことで、学習とはこの重みを少しずつ調整する作業です。

深層学習の教科書であるイアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)の "Deep Learning"(2016年)は、事前学習の代表例として、貪欲な層ごとの教師なし事前学習(greedy layer-wise unsupervised pretraining)という手順を説明しています。この教科書は、同じ手順を短く教師なし事前学習(unsupervised pretraining)とも呼んでいます。このページでは主にこの手順を扱います。

教師なし学習とは、正解ラベル(たとえば画像に写っている物の名前)が付いていないデータだけを使い、入力データの分布の形をとらえようとする学習です。これに対して、入力と正解ラベルの組を使い、入力から出力への対応を学ぶ学習を教師あり学習と呼びます。教科書は、教師なし学習という1つの課題で学んだ表現が、同じ種類の入力を扱う教師あり学習という別の課題で役に立つことがある典型例として、この手順を挙げています。ここでいう表現とは、ネットワークの層が入力データを変換して作る、データの別の書き表し方のことです。

層を1つずつ教師なしで学習させる手順

層の多い深いネットワークでは、教師あり学習ですべての層を同時に学習させることが難しいとされていました。貪欲な層ごとの教師なし事前学習は、この難しさを避けるために、層を1つずつ切り離して学習させます。

1層分の学習には、1層だけで表現を学ぶ教師なし学習の手法を使います。教科書は、RBM(制限付きボルツマンマシン)、単層のオートエンコーダ、スパースコーディングのモデルなど、データの潜在的な表現を学ぶモデルを例に挙げています。各層は、1つ前の層の出力を入力として受け取り、データの新しい表現を出力するように、教師なし学習で学習します。教科書は、こうして作られる新しい表現は、分布の形や予測したいカテゴリとの関係が元のデータより単純になっていることが期待される、と書いています。

3層のネットワークを例にとると、手順は次のようになります。

1. 元の入力データだけを使い、1層目を教師なし学習で学習させます。
2. 学習を終えた1層目は固定します。1層目にデータを通した出力を入力として、2層目を教師なし学習で学習させます。
3. 1層目と2層目を固定し、2層目の出力を入力として、3層目を同じように学習させます。

この3段階では、正解ラベルを一度も使いません。先に学習した下の層は、上の層を学習している間は調整しません。

事前学習の次に続く段階との境目

事前学習は重みの初期値を用意する最初の段階であり、そのあとに、その初期値を出発点にした教師あり学習の段階が続きます。教科書によると、この教師あり学習の段階には2つのやり方があり、事前学習で得た特徴の上に分類器だけを学習させる場合と、事前学習したネットワーク全体を教師ありで微調整する場合があります。後者の、ネットワーク全体を微調整するやり方をファインチューニングと呼びます。教師あり学習の課題であれば、この段階で初めて正解ラベルを使います。

教科書によると、事前学習のあとに行う教師あり学習の段階には2つのやり方があります。1つは、事前学習で得た特徴の上に単純な分類器を足してその分類器だけを学習させるやり方で、もう1つは、事前学習したネットワーク全体を教師あり学習で微調整するやり方です。また教科書は、「事前学習」という語が、事前学習の段階だけでなく、事前学習と教師あり学習を組み合わせた2段階の手順全体を指して使われることも多い、と書いています。

名前を構成する4つの語の意味

教科書は、この手順の名前を次のように説明しています。

• 貪欲(greedy)と呼ぶのは、この手順が貪欲法だからです。貪欲法とは、解全体をまとめて最適化するのではなく、解の部分を1つずつ独立に最適化していくやり方です。
• 層ごと(layer-wise)と呼ぶのは、独立に最適化する部分がネットワークの層だからです。k番目の層を学習するとき、それより前の層は固定しておきます。
• 教師なし(unsupervised)と呼ぶのは、各層を教師なしの表現学習の手法で学習させるからです。
• 事前(pre)と呼ぶのは、この手順が、全層を同時に学習する手順を適用して全層を一緒に微調整する前の、最初の一歩にすぎないとされているからです。

2006年の深層学習の復興のきっかけ

層を1つずつ教師なしの基準で学習させる手順は、深いネットワークの層を教師あり学習で同時に学習させる難しさを避けるために、以前から使われてきました。教科書は、この考え方が少なくともネオコグニトロンにまでさかのぼると書いています。

教科書は、2006年に始まった深層学習の復興は、この貪欲な手順を使うと全層の同時学習のためによい初期値を見つけられ、全結合のネットワークでも学習に成功できるという発見から始まった、と説明しています。全結合とは、隣り合う層のユニット(ニューロン)どうしがすべてつながっている構造です。教科書はこの発見の出典として、ジェフリー・ヒントン(Geoffrey Hinton)らによる2006年の論文をはじめとする複数の研究を挙げています。

教科書によると、この発見より前に学習できると考えられていた深いネットワークは、畳み込みを使うネットワークか、再帰によって深さが生まれるネットワークだけでした。畳み込みは画像の局所的な特徴を取り出す処理で、再帰は同じ処理を繰り返し適用することです。教師なし事前学習は、畳み込みや再帰のような構造上の工夫に頼らずに深い教師ありネットワークの学習を初めて可能にした方法として位置づけられています。

一方で教科書は、全結合の深いネットワークを学習させるのに貪欲な層ごとの事前学習は必須ではないことが、いまでは分かっているとも書いています。教師なし事前学習は、必須の手法ではなく、最初に成功した方法だったという位置づけです。

事前学習が効く理由として挙げられている考え方

教科書は、教師あり学習の課題の中では、事前学習は正則化の一種であり、パラメータ(重み)の初期化の一種でもあると見なせると書いています。その根拠として、実験によっては、事前学習を行うと、学習に使ったデータでの誤差(訓練誤差)は下がらないのに、学習に使っていないテスト用のデータでの誤差(テスト誤差)は下がることを挙げています。訓練誤差でなくテスト誤差を下げるこのような働きが、正則化と呼ばれる工夫の特徴です。

教科書は、教師なし事前学習には2つの考え方が組み合わさっていると説明しています。

1つ目は、深いネットワークの初期パラメータの選び方が、モデルに大きな正則化の効果を持つことがある、という考え方です。程度は小さいものの、最適化を改善することもあるとされています。教科書は、2つのうちこちらのほうが理解が進んでいないと書いています。

2つ目は、入力データの分布について学ぶことが、入力から出力への対応を学ぶ助けになる、というより一般的な考え方です。教科書は例として、車とオートバイの画像を生成するモデルを学習させる場合を挙げています。そのモデルは、車輪について、また画像に車輪がいくつあるべきかについて知る必要があります。その車輪の表現が、あとの教師あり学習で使いやすい形になっていれば、分類に役立ちます。ただし教科書は、どの課題でこの効果が出るかは数学的・理論的には理解されておらず、常に予測できるわけではないとも書いています。

効く場面と効かない場面

教科書によると、貪欲な層ごとの教師なし事前学習は、多くの課題で分類のテスト誤差を大きく改善しました。その一方で、ほかの多くの課題では利益が無いか、目立った悪影響さえ出ています。

教科書は、事前学習が効きやすいと考えられる場面として、次の2つを挙げています。

• 元の入力の表現が乏しいときです。代表例は単語です。単語をワンホットベクトル(語彙の数だけの長さを持ち、その単語の位置だけが1で残りが0のベクトル)で表すと、異なる2つの単語の距離はどの組でも同じになり、似た単語かどうかが表れません。学習で得た単語の埋め込み(単語を数値のベクトルで表したもの)は、単語どうしの似ている度合いを距離として表します。教科書は、画像ではすでに豊かなベクトルの空間に置かれているためか、単語ほど役に立たないと書いています。
• ラベル付きのデータが非常に少なく、ラベルの無いデータが非常に多いときです。教科書は、2011年に教師なし事前学習が2つの国際的な転移学習のコンテストで優勝したことを挙げています。転移学習とは、ある課題で学んだことを別の課題に生かす学習のことです。このコンテストでは、対象の課題のラベル付きデータは1クラスあたり数件から数十件でした。

利用上の注意として、教科書は2段階に分けて学習することの欠点も挙げています。多くの正則化の手法は1つのハイパーパラメータ(学習の前に人が決める設定値)で効き目の強さを調整できますが、事前学習では、教師あり学習のモデルを事前学習の重みで初期化するかしないかのどちらかしか選べず、正則化の強さを柔軟に調整できません。また、2つの段階にそれぞれハイパーパラメータがあり、1段階目の設定が2段階目の性能にどう効くかをすぐには予測できません。

2016年の教科書が書く現在の位置づけ

教科書は、2016年の時点で、教師なし事前学習はほとんど使われなくなったと書いています。例外は自然言語処理です。自然言語処理では、単語をワンホットベクトルで表しても似ている度合いが表れず、しかもラベルの無い非常に大量の文章が手に入ります。そのため、たとえば数十億語を含む文章の集まりで一度だけ事前学習して単語や文の表現を学び、その表現をそのまま使うか、ラベル付きデータのずっと少ない教師あり学習の課題に合わせて微調整する使い方が、広く使われ続けているとしています。

事前学習が使われなくなった理由として、教科書は次の比較を挙げています。ドロップアウトやバッチ正規化で正則化した教師あり学習は、1クラスあたりおよそ5,000件のラベル付きデータを持つ CIFAR-10 や MNIST のような中規模のデータセットで、教師なし事前学習を上回ります。データが極端に少ない場合には、ベイズ的な手法が教師なし事前学習を上回った例もあります。

同時に教科書は、事前学習の考え方が教師あり事前学習へ一般化され、転移学習のごく一般的なやり方になったとも書いています。例として、ImageNet という大規模な画像データセットで事前学習した畳み込みネットワークが転移学習に使われ、その学習済みのパラメータが公開されていることを挙げています。教科書は、教師なし事前学習を深層学習研究の歴史の重要な節目であり、現在の手法にも影響を与え続けているものと位置づけています。

このページの説明は2016年のこの教科書に基づいています。それ以降に広がった事前学習の使われ方は、このページでは扱っていません。