Seq2Seq

固定次元のベクトルという制約

深層ニューラルネットワーク(DNN)は、難しい問題で高い性能を示す強力なモデルです。しかし、そのまま適用できるのは、入力と目標を固定次元のベクトルとして符号化できる問題に限られます。ところが、重要な問題の多くは、長さがあらかじめ分からない系列で表すのが自然です。音声認識や機械翻訳は系列の問題です。質問応答も、質問を表す単語の系列を、答えを表す単語の系列へ写す問題とみなせます。Seq2Seq(Sequence to Sequence)は、特定の分野に依らず、系列を系列へ写すことを学習する方法です。

2つのLSTMで読み、書き出す

基本の考え方は単純です。まず1つ目のLSTMが、入力系列を1タイムステップずつ読み込み、大きな固定次元のベクトル表現を得ます。次に2つ目のLSTMが、そのベクトルから出力系列を取り出します。2つ目のLSTMは、本質的には再帰型ニューラルネットワークの言語モデルですが、入力系列に条件付けられている点が異なります。入力と、それに対応する出力の間にはかなりの時間的な隔たりがあります。そのため、長い範囲の時間的な依存関係を学習できるLSTMが自然な選択とされました。

たとえば、ABCという入力文を読み、WXYZという出力文を生成します。モデルは文末を表すトークンを出力した時点で予測を止めます。

入力文を逆順に読ませる工夫

この手法では、入力文の単語の並びを逆にしてLSTMに読ませます。出力側の文は逆にしません。逆順にすると、入力文と出力文の間に短期的な依存関係が多く生まれ、最適化の問題がずっと易しくなります。その結果、LSTMの性能が目立って向上したと報告されています。

英仏翻訳での結果

WMT'14の英語からフランス語への翻訳タスクで、LSTMによる翻訳はテストセット全体でBLEUスコア34.8を達成しました。この値は、語彙外の単語で減点を受けたうえでのものです。比較対象のフレーズベースの統計的機械翻訳(SMT)システムは、同じデータで33.3でした。さらに、そのSMTシステムが出した1000件の候補をLSTMで並べ替えると、スコアは36.5に上がり、このタスクのそれまでの最高結果に近づきました。また、LSTMは長い文でも苦戦しなかったとされています。

学習された句と文の表現

LSTMは、意味の通った句や文の表現を学習しました。その表現は語順に敏感である一方、能動態か受動態かの違いにはあまり影響されないという性質を持っていました。

Seq2Seqは、G検定のシラバス2024のキーワードに含まれる語です。