自己教師あり学習

自己教師あり学習は、人間がラベルを付与していない膨大なデータから、機械自身が擬似的なタスクを作成して学習を行う手法です。教師あり学習で必要となる高コストなラベル付け作業を回避しつつ、データの構造的な特徴を深く学習できる点が最大の特徴です。近年の大規模言語モデルの飛躍的な性能向上を支えています。

この手法ではまず、データの一部を隠して残りの部分から隠した部分を予測するような、補助的なタスク（Pretext task）を解かせます。例えば文章の一部を穴埋めさせたり、画像を切り抜いて元の位置を当てさせたりします。この過程で、機械はデータの背後にある文脈や構造を自動的に獲得します。その後に、特定の目的に合わせた本来のタスク（Downstream task）へと調整を行います。

G検定では、深層学習の学習効率化手法として問われます。BERTのような言語モデルや、画像認識の事前学習で見られる手法です。ラベル付きデータが少量しかない場合でも、大量の未ラベルデータから汎用的な特徴を学べるため、現代のAI開発において不可欠なプロセスとして位置づけられています。