信用割当問題

定義

信用割当問題(credit assignment problem)は、2つのことを問う問題です。1つは、学習システムの変更できる構成要素のうち、どれがシステムの成功や失敗に責任を持つのかです。もう1つは、それらをどう変えれば性能が改善するのかです。Minsky(1963)は、これを学習における根本的な信用割当問題と呼びました。

ニューラルネットワークでの意味

標準的なニューラルネットワークでは、ニューロンと呼ばれる単純な処理素子が多数つながっており、各ニューロンは実数値の活性を出します。入力ニューロンは、環境をとらえるセンサーを通じて活性化します。ほかのニューロンは、先に活性化したニューロンから重み付きの結合を通じて活性化します。この設定での学習、すなわち信用割当は、ネットワークに望ましい振る舞い(例えば自動車の運転)をさせる重みを見つけることです。

問題の種類や結合の仕方によっては、望ましい振る舞いを得るために、計算の段階を長く因果的につなぐ必要があります。各段階は、ネットワーク全体の活性を変換します。この変換は多くの場合、非線形です。深層学習は、こうした多数の段階にわたって正確に信用を割り当てることだと位置づけられます。

深さを測る考え方

信用割当が深いか浅いかを測るために、Credit Assignment Paths(CAP)という概念が導入されています。CAPは、事象と事象の間にある、因果的でありうるつながりの連鎖です。順伝播型ニューラルネットワークでは、入力層から隠れ層を経て出力層へ至る連鎖がこれに当たります。再帰型ニューラルネットワークでは、時間方向の変換を通じた連鎖がこれに当たります。

誤差逆伝播法との関係

誤差逆伝播法(backpropagation)は、教師あり学習のための効率的な勾配降下法です。任意の深さの、離散的で微分可能なネットワークに使えます。1960年代から1970年代に開発され、1981年にニューラルネットワークへ適用されました。しかし、層の多い深いネットワークを誤差逆伝播法で訓練するのは、実際には難しいことが1980年代後半までに分かりました。この問題は、1990年代初めには明確な研究課題になっていました。

教師あり学習と強化学習での違い

教師あり学習では、ネットワークの出力事象の一部に、教師が与える実数値のラベル(目標値)が対応づけられ、そこから誤差が生じます。誤差の例は、実際の出力と目標値の差を2乗して半分にしたものです。訓練の典型的な目標は、誤差の総和が小さいエピソードを生む重みを見つけることです。そのうえで、まだ見ていない入力系列に対しても誤差が小さく、うまく汎化することが期待されます。

強化学習では、入力事象の一部が、環境から与えられる実数値の報酬信号を表します。典型的な目標は、適切な出力行動を続けることで報酬信号の総和が大きいエピソードを生む重みを見つけることです。教師あり学習と異なり、強化学習は、入力事象が過去の出力事象から独立しているとは仮定しません。システムがとった行動は、その後の知覚を通じて環境に影響しうるからです。