情報検索

人が知りたいことに計算機で応える課題

人は日々、さまざまなことを知りたいと考えます。そのため、計算機が登場するとほぼ同時に、人は計算機に質問を投げかけるようになりました。1961年にはすでに、アメリカの野球の統計について、ヤンキースは7月に何試合したか、といった質問に答えるシステムがありました。計算機による質問応答は、それほど古くからある取り組みです。

また、多くの知識は文章の形で記録されています。そのため、大規模言語モデルが登場する前から、人間と同じ水準で質問に答えるシステムがありました。2011年には、IBMのWatsonがテレビのクイズ番組Jeopardy!で優勝し、質問に答える力で人間を上回りました。

大規模言語モデルと情報検索の関係

大規模言語モデルの重要な働きの一つは、人が情報を求める気持ち、つまり情報のニーズを満たすことです。そして、多くの情報はオンライン上にあります。このニーズに応えるには、オンライン上の大量の情報の中から、問い合わせに関連する文書を見つけ出す仕組みが必要になります。この、問い合わせ(クエリ)に対して関連する文書を探し出す課題が情報検索です。

クエリと文書をベクトルで表す2つの方式

情報検索のシステムは、クエリと文書をどのようなベクトルで表すかによって、大きく2種類に分けられます。

• 疎なベクトルを使う方式(疎な検索): 文書とクエリを、単語の出現回数を数えたベクトルで表します。このベクトルは、TF-IDFやBM25で重み付けされます。
• 密なベクトルを使う方式(密な検索): 文書とクエリを、言語モデルから計算した埋め込みで表します。

都度与えられるクエリに答える検索エンジンの全体構成は、この2種類の方式をどちらも含む形で説明できます。どちらの方式でも、クエリと文書を同じ種類のベクトルで表し、そのベクトルを手がかりに関連する文書を探す、という点は共通しています。違いは、そのベクトルを単語の出現回数から作るか、言語モデルの埋め込みから作るかにあります。

ベクトル空間モデルによる文書の表し方

疎な検索の土台となる考え方が、情報検索のベクトル空間モデルです。ベクトル空間モデルでは、1つの文書を、その文書に含まれる単語の出現回数を並べたベクトルとして表します。文書をこのように数の並びに置き換えることで、クエリと文書を同じ形式で扱えるようになります。

出現回数のベクトルは、そのまま使うのではなく、TF-IDFやBM25で重み付けして使います。一方、密な検索では、単語の出現回数ではなく、言語モデルが計算した埋め込みで文書とクエリを表します。情報検索を学ぶときは、ベクトル空間モデルによる出現回数のベクトルと、言語モデルによる埋め込みの2つを対比させて理解すると整理しやすくなります。