パラフレーズ

言い換えと逆翻訳

パラフレーズは、同じ意味を別の言い回しで表したものを指す。この項目では、テキストのデータ拡張としての言い換え生成を、逆翻訳(back-translation)という仕組みを通じて説明する。ここで扱う根拠は、逆翻訳を機械翻訳の性能を上げるための手法として論じたものであり、説明もその範囲にとどめる。

前提となる設定

逆翻訳が対象とするのは半教師ありの設定である。訳したい元の言語(source language)と訳し先の目標言語の対訳データがあり、それに加えて、目標言語だけで書かれたモノリンガルデータがある状況を考える。モノリンガルデータは対になる訳文を持たないので、そのままでは翻訳モデルの教師データにならない。

仕組み

1. まず対訳データで中間的な翻訳システムを訓練する。
2. そのシステムで、目標言語のモノリンガルデータを元の言語へ翻訳する。
3. できあがるのは、source側が機械翻訳による合成文、target側が人間の書いた本物の文という対訳コーパスである。
4. この合成対訳コーパスを本物の対訳データに単純に追加し、元の言語から目標言語へ訳す最終的なシステムを訓練する。

手順は単純だが、フレーズベースの翻訳でも役立つことが示されてきたと根拠は述べている。

合成文の作り方で効果が変わる

根拠の論文は、合成のsource文を生成する方法をいくつも比べている。その結果、資源の乏しい設定を除けば、サンプリングで得た逆翻訳や、ビームサーチの出力にノイズを加えた逆翻訳が最も効果的だった。分析では、サンプリングやノイズを含む合成データは、ビームサーチや貪欲探索で作った合成データよりずっと強い訓練信号を与えると示されている。探索で得た出力と、サンプリングやノイズを加えた出力との対比が押さえどころである。

読むときの注意

根拠が述べているのは、機械翻訳の訓練データを増やす文脈での逆翻訳である。テキスト分類など他のタスクで言い換え文を作ってデータを増やす使い方については、この根拠は触れていない。また、合成されるのはsource側であり、target側は人間が書いた本物の文のまま残る点も区別しておきたい。