ゲート機構

ゲート機構が扱う問題

ゲート機構は、リカレントニューラルネットワーク(RNN)の中で使われる考え方です。RNNは、文章や音声のように順番を持つデータを1つずつ読み込み、それまでに読んだ内容を内部の状態として次の時刻へ引き継ぐニューラルネットワークです。

RNNを学習させるときは、出力の誤差から計算した勾配が、時刻をさかのぼる方向へ伝えられていきます。勾配とは、重みを少し動かしたときに誤差がどれだけ変わるかを表す量で、学習はこの値を手がかりに重みを直します。さかのぼる時刻が長くなると、勾配が0に近いほど小さくなって遠い過去まで届かなくなったり(勾配消失)、逆に極端に大きくなって学習が不安定になったり(勾配爆発)します。どちらが起きても、離れた時刻どうしの関係は学習しにくくなります。

イアン・グッドフェロー(Ian Goodfellow)、ヨシュア・ベンジオ(Yoshua Bengio)、アーロン・クールヴィル(Aaron Courville)による教科書『Deep Learning』(2016年)の第10章は、ゲート付きRNNを次の考え方にもとづくものとして説明しています。それは、微分が消失も爆発もしない経路を時間方向に作る、という考え方です。ゲート機構は、この経路を作るための仕組みとして位置づけられます。

先行したleaky unitとその限界

同じ教科書は、この経路を作る方法として、ゲート付きRNNより前にleaky unit(漏れのあるユニット)を扱っています。leaky unitも、時間方向に勾配が消えにくい経路を作ろうとするものです。

leaky unitでは、その経路を決める結合の重みは、人が手で選んだ定数か、学習で求めるパラメータのどちらかでした。どちらの場合も、重みはユニットごとに1つの値として決まり、時刻が進んでも変わりません。

教科書によれば、leaky unitの働きによって、ネットワークは長い期間にわたって情報を蓄積できます。ところが、その情報をいったん使い終えたあとは、古い状態を忘れた方が役に立つ場合があります。重みが時刻によって変わらないleaky unitには、いま蓄積をやめて状態を消す、という判断を場面に応じて切り替える手段がありません。

重みが時刻ごとに変わるという一般化

ゲート付きRNNは、leaky unitの考え方を一般化したものです。変えた点は1つで、結合の重みが各時刻で変化しうるようにしたことです。

重みが時刻ごとに変われば、ある時刻では過去の状態をほぼそのまま持ち越し、別の時刻では過去の状態を大きく減らす、という使い分けができます。ゲートという名前は、この働きを情報の通り道に置いた門にたとえたものと読むことができます。門をどれだけ開くかが時刻ごとに決まり、それによって過去の情報がどれだけ通るかが決まります。

忘れるタイミングを人が決めずに学習させる

教科書は、ゲート付きRNNの狙いを次のように説明しています。状態をいつ消すかを人が手で決めるのではなく、それをいつ行うかをネットワーク自身に学習させたい、というものです。

たとえ話で考えます。文章を読みながら、いま話題になっている人物についての情報を状態にためていくとします。話題が別の人物に移ったら、前の人物についての情報は捨てた方が次の文を理解しやすくなります。しかし、どの単語が現れたら話題が切り替わったとみなすかについて、あらかじめ規則を書き尽くすのは困難です。ゲート機構を持つネットワークは、忘れるべき場面を学習データから自分で見つけられるように作られています。なお、この例は考え方を説明するためのもので、特定の実験結果を紹介したものではありません。

具体的な構造との関係

ゲート機構は、特定の1つのモデルの名前ではなく、時刻ごとに変わる重みで情報の持ち越しと忘却を調整するという設計上の考え方です。この考え方を具体的なネットワークの構造として実現した代表例に、LSTM(長短期記憶)とGRU(ゲート付き回帰型ユニット)があります。

どのようなゲートをいくつ置き、それぞれが何を調整するかは、モデルごとに異なります。LSTMとGRUのゲートの種類と計算の中身は、それぞれの語のページで説明します。このページで押さえておきたいのは、どちらのモデルも、勾配が消失も爆発もしない経路を時間方向に作るという考え方の上に作られているという点です。ただし「古い状態をいつ忘れるかを学習させる」という説明が当てはまるのは、忘却ゲートを持つ現在よく教えられる形のLSTMやGRUのような構造であり、1997年のLSTM原論文にある入力ゲート・出力ゲートの2つは、忘れる時期を決める部品ではなく、関係ない入出力による記憶の乱れを防ぐための部品として導入されています。この違いはLSTMのページで詳しく説明します。