ソースターゲットアテンション

どのような層か

ソースターゲットアテンションは、Transformerのデコーダに置かれる注意機構の層です。原論文ではencoder-decoder attention(エンコーダ・デコーダアテンション)と呼ばれています。Transformerはマルチヘッドアテンションを3通りの使い方で用いており、この層はそのうちの1つです。

クエリとキー・値の出所

この層の特徴は、入力となるベクトルが2か所から来ることです。クエリはデコーダの1つ前の層から来ます。キーと値は、原論文でメモリのキーと値と呼ばれるもので、エンコーダの出力から来ます。デコーダの側が問いを出し、エンコーダの側が参照される情報を用意する、という分担になっています。

アテンションは一般に、1つのクエリと、キーと値のペアの集合を、出力へ写す関数として説明されます。出力は値の重み付き和で、それぞれの値の重みは、クエリと対応するキーとの適合度を計算する関数で決まります。ソースターゲットアテンションは、この一般的な定義のうち、クエリの出所(デコーダ)とキー・値の出所(エンコーダ)が異なる場合にあたります。

何ができるようになるか

キーと値がエンコーダの出力から来るので、デコーダの各位置は、入力系列のすべての位置に注意を向けられます。デコーダは出力を組み立てる途中で、入力系列のどの位置の情報をどれだけ使うかを、重みとして位置ごとに決められます。エンコーダが入力系列から作った表現を、デコーダが参照するための通り道がこの層です。

系列変換モデルとの関係

原論文は、この層が系列変換モデル(sequence-to-sequence model)で典型的に使われてきたencoder-decoder attentionの仕組みを模したものだと述べています。入力側と出力側を注意でつなぐという、系列変換モデルで使われてきた考え方を、Transformerはこの層として持っています。

セルフアテンションとの違い

同じTransformerの中には、セルフアテンションの層もあります。セルフアテンションではキー・値・クエリがすべて同じ場所から来ます。これに対してソースターゲットアテンションでは、クエリはデコーダから、キーと値はエンコーダから来ます。両者を見分けるときは、まずこの出所の違いに注目すると整理しやすくなります。

試験との関係

ソースターゲットアテンションは、シラバス2024のキーワードに含まれます。