教師あり学習

答え付きの例から学ぶ

教師あり学習は、機械学習を学び方で分けたときの型の1つです。学習する仕組みには、訓練例と呼ばれる実例がまとめて与えられます。訓練例の1つ1つは、ある状況の記述と、その状況で仕組みが取るべき正しい行動の指定を組にしたものです。

正しい行動の指定は、多くの場合、その状況がどのカテゴリに属するかを示す名札の形をとります。この名札をラベルと呼び、ラベルの付いた訓練例の集まりを訓練集合と呼びます。ラベルはカテゴリの形に限られず、正しい答えが連続する数値の形をとる問題は回帰問題と呼ばれます。

迷惑メールの判定で考えてみます。1通のメールの内容が状況の記述にあたり、迷惑メールか普通のメールかという区別がラベルにあたります。人があらかじめ多数のメールにこの区別を付けておき、仕組みはそれを手がかりに、どのようなメールが迷惑メールにあたるかを学びます。

教師とは誰のことか

名前にある教師は、正しい答えを知っている外部の存在を指します。上の例では、メールを1通ずつ見て区別を付けた人が教師にあたります。

教師あり学習では、仕組み自身が答えの正しさを見つけ出すわけではありません。訓練例ごとに、何が正しいかが外から与えられます。仕組みが行うのは、与えられた状況と正しい答えの対応をもとに、自分の応答を合わせていくことです。

目指すのは訓練集合に無い状況への対応

教師あり学習の目的は、訓練集合に含まれる例に正しく答えることそのものではありません。訓練集合に無い新しい状況に出会ったときにも正しく振る舞えるよう、学んだ応答を外挿し、一般化することが目的です。外挿とは、手元にある例の範囲の外にまで判断を推し広げることを指します。

迷惑メールの例でいえば、ラベルの付いたメールを覚えているだけでは役に立ちません。これから届く、まだ誰もラベルを付けていないメールを正しく区別できて、はじめて学習した意味があります。機械学習では、この未知のデータへの対応力を汎化性能と呼びます。

強化学習との違い

強化学習は、状況にどの行動を対応させれば、数値で表される報酬を最も大きくできるかを学ぶ型です。強化学習には、どの行動が正しいかを教えてくれる教師がいません。仕組みは自分で行動を試し、その結果として得られる報酬を手がかりに学びます。強化学習は、外から与えられた答えではなく、自分の経験から学ぶのです。

強化学習を特徴づける要素として、試行錯誤で行動を探すことと、報酬が行動の直後ではなく遅れて届くことの2つが挙げられます。教師あり学習では、状況ごとの正しい行動が訓練例の中ですでに示されているので、行動を試して答えを探す必要がありません。

2つの型の違いは、学ぶ手がかりがどこから来るかにあります。教師あり学習では外部の教師が正しい答えを与えます。強化学習では正しい答えそのものは与えられず、行動の結果に対する報酬だけが返ってきます。

教師なし学習との違い

教師なし学習は、ラベルの付いていないデータの中に隠れている構造を見つけることを目的とする型です。教師なし学習にも、答えを与える教師はいません。

教師あり学習は、状況に対して正しい答えを出せるようになることを目指します。教師なし学習は、データがどのようなまとまりや形をしているかを見つけることを目指します。訓練例にラベルがあるかどうかが、2つを分ける手がかりになります。

強化学習もラベルを使いませんが、教師なし学習とは区別されます。強化学習の目的は報酬を最大にすることであり、データの構造を見つけることではないからです。強化学習の教科書であるリチャード・S・サットン(Richard S. Sutton)とアンドリュー・G・バート(Andrew G. Barto)の『Reinforcement Learning: An Introduction』は、強化学習を教師あり学習・教師なし学習と並ぶ第三の機械学習の枠組みとして位置づけています。

教師あり学習が成り立つ前提

教師あり学習を使うには、状況ごとの正しい答えを知っている教師がいて、その答えを訓練例に付けられることが前提になります。訓練例に付いた答えが、学習の手がかりのすべてだからです。

正しい行動が前もって分からず、行動した結果として受け取る報酬しか手がかりが無い問題は、教師あり学習ではなく強化学習の扱う問題として区別されます。ある問題にどちらの型を当てはめるかは、正しい答えを外から用意できるかどうかで考えると整理しやすくなります。