質問応答

質問に答える課題としての質問応答

質問応答(Question Answering、QA)は、質問を受け取ってその答えを返すことを目指す自然言語処理(NLP)の課題です。NLPの課題のなかでも、最も早い時期から取り組まれてきたものの一つです。答えをどこから得るのか、答えをどのような形式で返すのかによって、いくつかの種類に分けて整理されます。

1961年のBASEBALLシステムと構造化データベース

質問応答の歴史は古く、1961年の時点でBASEBALLというシステムが野球の試合についての質問に答えていました。たとえば、7月7日にレッドソックスはどこで試合をしたか、といった質問に対して、試合の情報を収めた構造化されたデータベースに問い合わせることで答えを求めていました。初期の質問応答は、自然文の質問を手がかりに、あらかじめ整理されたデータから答えを引き出す仕組みだったといえます。

1990年代以降の機械学習への移行

1990年代になると、質問応答は機械学習を用いる方式へと移っていきました。質問応答を意味解析(semantic parsing)の課題として扱い、テキストと構造化された意味表現との対応づけを作るという考え方が提案されました。さらに、質問文を構造化された知識ベースに対応づける、知識ベース型の質問応答へと展開しました。また、事実を問う質問に答えるfactoid型と、そうでないnon-factoid型という分類のもとで、多様な質問応答システムが競い合うようになりました。

文書から答えを抜き出すreading comprehension

質問応答と関係の深い課題に、reading comprehension(読解)があります。これは、モデルに質問と文書が与えられ、その文書の中から答えを抽出することが求められる課題です。質問応答で使われるデータセットの多くは、もともとこの先行する読解の課題のために作られたものでした。答えの根拠となる文書があらかじめ与えられている点が、この課題の特徴です。

open book QAとclosed book QA

質問応答では、回答の際に文書を参照するかどうかで二つの課題を区別することがあります。検索拡張生成(RAG)などによって一つ以上の文書を与えたうえで答える課題を、open book QAと呼びます。これに対して、検索の仕組みをまったく使わず、言語モデルから直接答える課題を、closed book QAと呼びます。

同じデータセットでも、使い方によって扱いが変わります。Natural Questionsは、各質問に付属している文書を解き手が使えばopen bookとして、文書を使わなければclosed bookとして扱うことができます。一方で、MMLUのようなデータセットはclosed bookとしてのみ扱われます。データセットの名前だけでなく、文書を与えるかどうかという条件までを合わせて見ることが大切です。

多肢選択式と自由記述式という回答形式

質問応答には、回答の形式という観点での違いもあります。選択肢の中から答えを選ぶ多肢選択式と、答えを自由に記述する自由記述式です。ある質問応答の課題設定を理解するには、答えの出どころ(文書を与えて答えるのか、言語モデルから直接答えるのか)と、答えの形式(多肢選択式か自由記述式か)の両方に目を向けることが役立ちます。