回帰問題

回帰問題が求めるもの

回帰問題は、機械学習で扱う課題の種類のひとつで、何らかの入力が与えられたときに数値を予測する課題です。グッドフェロー(Ian Goodfellow)、ベンジオ(Yoshua Bengio)、クールヴィル(Aaron Courville)による教科書『Deep Learning』(2016年)の第5章は、回帰をこのような課題として説明しています。

この課題を解くために、学習アルゴリズムは次の形の関数を出力するよう求められます。

f:Rⁿ→R

Rⁿ は n 個の実数を並べたベクトル全体、R は実数全体を表します。回帰問題の目標は、n 個の数値で表された入力を受け取って実数をひとつ返す関数を学習によって得ることです。

教科書が挙げる例

同じ箇所では、回帰の例として次の2つが挙げられています。

• 保険の加入者が請求する保険金の見込み額の予測(保険料の設定に使われる)
• 有価証券の将来の価格の予測

どちらも、答えが「いくらになるか」という数値になる点が共通しています。

分類問題と並べると見える違い

同じ第5章では、回帰と並んで分類も説明されています。分類は、入力が k 個のカテゴリのどれに属するかを答える課題で、学習アルゴリズムは通常 f:Rⁿ→{1,...,k} という形の関数を出力するよう求められます。例として挙げられているのは物体認識で、画像を入力として受け取り、写っている物体を識別する数値コードを出力します。

2つの関数の形を並べると、違いは出力の側にあります。

入力が n 個の数値で表される点は共通しています。教科書も回帰を分類と似た課題として扱ったうえで、両者は出力の形式が異なると述べています。分類でも出力は数値コードの形をとりますが、そのコードはカテゴリを識別するための番号であり、選べる値は1から k までに限られます。回帰の出力は、予測したい量そのものを表す実数です。

見分けるときの手がかり

ある課題が回帰問題かどうかは、求められている答えの形で見分けられます。答えが「どのカテゴリか」であれば分類問題、「どれだけの数値か」であれば回帰問題です。