半教師あり学習

教師あり学習と教師なし学習を組み合わせる

機械学習では昔から、大きな課題を教師あり学習と教師なし学習の2つに分けてきました。

• 教師あり学習: 入力xと、それに対応する正解の出力yの組を学習に使います。まだ見ていない入力の出力を推定できる分類器や回帰モデルを作るのが目的です。
• 教師なし学習: 正解の出力は与えられません。入力だけから、その背後にある構造を読み取ろうとします。

半教師あり学習は、この2つを組み合わせようとする機械学習の一分野です。一般に、片方の課題の性能を上げるために、ふつうはもう片方に属する情報を使います。よくある例は分類問題です。正解ラベルの付いたデータに加えて、ラベルが分からないデータ点も分類器の構築に使います。まとめると、少量のラベル付きデータと大量のラベルなしデータを両方使ってモデルを作る学習法です。

なぜ役に立つのか

半教師ありの分類手法が特に効くのは、ラベル付きデータが少ない場面です。ラベル付きデータが少ないと、教師あり学習だけでは信頼できる分類器を作りにくくなります。

こうした状況は、ラベル付きデータの入手に費用がかかる分野や、そもそも集めにくい分野で起こります。例として次の3つがあります。

• コンピュータ支援診断: 医療画像などに正しい診断ラベルを付けるには、専門家の判断が要ります。
• 創薬: 候補となる化合物の性質をラベルとして確かめるには、実験などの手間がかかります。
• 品詞タグ付け: 文中の単語一つひとつに品詞のラベルを付けるには、言語の知識を持つ人の作業が要ります。

これらの分野でも、ラベルの付いていないデータは比較的多く手に入ることがあります。ラベルなしデータが十分にあり、データの分布についての一定の仮定が成り立てば、ラベルなしデータはより良い分類器を作る助けになります。裏を返せば、ラベルなしデータを加えれば必ず性能が上がるわけではなく、データの分布についての仮定が前提になっています。

代表的な手法としての自己学習法

半教師あり学習の中で最も基本的な手法の1つが、自己学習法(self-training。self-learningとも呼ばれます)です。

自己学習法を理解するには、まず疑似ラベルという考え方を押さえます。疑似ラベルとは、人が付けた正解ラベルではなく、モデル自身の予測をラベルの代わりとして扱ったものです。自己学習法は、疑似ラベルを使う手法のうち最も基本的なものに当たります。使う分類器は1つだけで、その分類器を、もともとのラベル付きデータと、それまでの繰り返しで疑似ラベルを付けたデータの両方で、繰り返し訓練し直します。

手順は次のとおりです。

1. ラベル付きデータだけを使って、教師あり学習で分類器を訓練します。
2. できた分類器で、ラベルなしデータの予測を出します。
3. 予測のうち確信度が最も高いものを疑似ラベルとして扱い、そのデータをラベル付きデータの集合に加えます。
4. 元のラベル付きデータと、新しく疑似ラベルを付けたデータの両方で、分類器を訓練し直します。
5. 2から4を繰り返します。ふつうはラベルなしデータが残らなくなるまで続けます。

確信度の高い予測だけを加えていくので、少ないラベル付きデータから出発して、ラベルなしデータを少しずつ学習に取り込めます。

自己学習法を最初に提案したのはヤロウスキー(Yarowsky)で、1995年のことです。文書中の単語の意味を周りの文脈から推定する課題(語義の曖昧性解消)への手法として示されました。

名前が似ている自己教師あり学習との違い

半教師あり学習と自己教師あり学習は名前が似ていますが、別の考え方です。

• 半教師あり学習: 人が付けたラベル付きデータを少量使うことが前提です。そこへ大量のラベルなしデータを加えて性能を高めます。
• 自己教師あり学習: 人手のラベルを一切使いません。データから自動で作った疑似ラベルで学習する、教師なし学習の一種です。

見分けるときは、人が付けた正解ラベルを少しでも使うかどうかに注目します。どちらも疑似ラベルという言葉が出てきますが、半教師あり学習の自己学習法では、人手のラベルで訓練したモデルの予測が疑似ラベルになります。この点が違います。

G検定シラバスでの扱い

G検定シラバス2024では、半教師あり学習は中項目の転移学習・ファインチューニングの対象キーワードに挙げられています。ラベル付きデータが少ない状況でモデルを作るための工夫の1つとして、ほかのキーワードと並べて整理しておくとよいでしょう。