自己教師あり学習

自己教師あり学習とは

自己教師あり学習は、人手でラベルを付けていない大量のデータから、ネットワークに役立つ特徴を学ばせるための学習法です。ジン(Jing)とティエン(Tian)による画像の自己教師あり学習のサーベイ論文(2020年)は、自己教師あり学習を次のように定義しています。

• 教師なし学習の手法の一部(サブセット)である
• 自動的に生成されたラベルを使って、ネットワーク(このサーベイでは畳み込みニューラルネットワーク、ConvNet)を明示的に訓練する学習法である

教師なし学習とは、人手で付けたラベルを一切使わない学習法のことです。自己教師あり学習も人手のラベルを使いません。ただし、ラベルを全く使わないわけではなく、データから機械的に作ったラベルを正解として使って訓練する点に特徴があります。

画像や動画に人手でラベルを付ける作業は、時間も費用もかかります。この負担を避けて、ラベルの無い大規模な画像や動画から特徴を学ぶために、多くの自己教師あり学習の手法が提案されてきました。

疑似ラベルとは

疑似ラベルとは、人が付けたものではなく、データの持つ何らかの性質(属性)をもとに自動で作られるラベルのことです。たとえばカラー画像があれば、それを白黒にした画像を入力とし、元の色を正解として扱えます。この正解は人が付けたものではなく、元のデータから自動で得られたものです。

疑似ラベルの作成に人手が要らないため、自己教師あり学習では非常に大規模なデータセットを訓練に使えます。

pretext task(代理のタスク)

疑似ラベルを使って解かせるタスクを、pretext task と呼びます。サーベイでは、pretext task を、ネットワークに解かせるためにあらかじめ設計したタスクであり、その目的関数を学習することで視覚的な特徴が学ばれるもの、と説明しています。

pretext task を解くこと自体は最終目的ではありません。目的は、そのタスクを解く過程でネットワークの内部に有用な特徴を身につけさせることです。この意味で、pretext task は特徴を学ばせるための代理のタスクといえます。

サーベイで挙げられている pretext task の例には、次のようなものがあります。

• 白黒画像に色を付ける(カラー化)
• 画像の欠けた部分を埋める(インペインティング)
• 画像を切り分けて並べ替えたものを元に戻す(ジグソーパズル)

サーベイによると、pretext task には共通する性質が2つあります。

1. pretext task を解くには、ネットワークが画像や動画の視覚的な特徴を捉える必要がある
2. pretext task の疑似ラベルは、画像や動画の属性から自動で生成できる

1つ目の性質があるから、pretext task を解けるように訓練すると特徴が身につきます。2つ目の性質があるから、人手のラベルが要りません。

downstream task(本来解きたいタスク)

downstream task は、自己教師あり学習で学んだ特徴を使って取り組む、画像分類などの実際の応用タスクです。サーベイでは、downstream task は自己教師あり学習で学んだ特徴の質を評価するために使われるコンピュータビジョンの応用であり、訓練データが少ないときに事前学習済みモデルから大きな恩恵を受けられる、と説明しています。

downstream task を解くには、一般に人手で付けたラベルが必要です。ただし応用によっては、downstream task が pretext task と同じで、人手のラベルを使わずに済む場合もある、とサーベイは付け加えています。

学習の全体の流れ

サーベイが示す自己教師あり学習の一般的な流れは、次の2段階です。

1. 自己教師あり学習の段階: あらかじめ設計した pretext task を用意し、データの属性から疑似ラベルを自動で作ります。ネットワークはこの pretext task の目的関数を学習し、その過程で視覚的な特徴を身につけます。
2. 転移の段階: pretext task での訓練が終わったら、学習したパラメータを事前学習済みモデルとして downstream task へ移し、ファインチューニング(downstream task のデータで追加の訓練をして調整すること)を行います。

downstream task での性能は、学習した特徴の質を評価する物差しとしても使われます。また、サーベイによると、downstream task へ知識を移すときには、通常、ネットワークの最初のいくつかの層が持つ汎用的な特徴だけが転移されます。

この流れは、特に downstream task 側で使えるデータが比較的少ない場合に役立つとされています。ラベルの無い大量のデータで特徴を学んでおき、少ないラベル付きデータで仕上げる、という分担になっているためです。

ほかの学習法との違い

サーベイでは、ラベルの使い方によって学習法を次のように区別しています。

名前の似ている半教師あり学習と比べると、違いは次の2点に整理できます。

• 半教師あり学習は、少量とはいえ人手のラベル付きデータを使います。自己教師あり学習は、pretext task の段階で人手のラベルを一切使わない、教師なし学習の一種です。
• 自己教師あり学習は、データの属性から疑似ラベルを自動で生成し、それを正解として訓練します。

補足: サーベイの対象範囲

ここで根拠にしたサーベイは、畳み込みニューラルネットワークで視覚的な特徴を学び、その特徴を複数のコンピュータビジョンのタスクへ転移できる手法に絞って整理したものです。そのため、定義の文言にも ConvNet や視覚的な特徴という語が含まれています。

G検定シラバス2024では、自己教師あり学習は中項目の転移学習・ファインチューニングの対象キーワードとして掲載されています。学習した特徴を別のタスクへ移して使う、という流れと合わせて理解しておくと整理しやすくなります。