視覚質問応答

どんなタスクか

視覚質問応答(Visual Question Answering、VQA)は、2015年にアグラワル(Agrawal)、ルー(Lu)、アントル(Antol)らが論文 VQA: Visual Question Answering で提案したタスクです。論文では、自由形式でオープンエンドな視覚質問応答と呼んでいます。

入力と出力は次のとおりです。

• 入力: 1枚の画像と、その画像についての自然言語の質問
• 出力: 質問に対する自然言語の答え

ここでいう自由形式でオープンエンドとは、質問の形が決まった型に限られず、答えもあらかじめ用意された少数の選択肢に限られない、という意味です。論文は、視覚障害のある人を手助けするといった実世界の場面を想定しており、そうした場面では何を聞かれるか、どう答えるべきかが前もって決まっていないため、質問も答えもオープンエンドにしたと説明しています。

質問の多様さ

VQAの質問は、画像のどこを見るか、どんな知識を使うかが質問ごとに大きく変わります。論文に載っている質問の例を、必要な能力ごとに分けると次のようになります。

• 物体の認識や数を数えること: ピザは何切れありますか、口ひげは何でできていますか、彼女の目は何色ですか
• 行動の認識: この男性は泣いていますか
• 知識に基づく推論: これはベジタリアン向けのピザですか(具材を見分けたうえで、ベジタリアンとは何かという知識を当てはめる必要があります)
• 常識的な推論: この人は視力が20/20(日本でいう視力1.0に相当する正常な視力)ですか、この人は来客を予定していますか
• 場面や位置関係の理解: 雨が降っていそうですか、木のすぐ下には何がありますか

目の色のように画像の一部の細部を見れば答えられる質問もあれば、来客の予定のように写っているものから状況を推し量らないと答えられない質問もあります。論文は、視覚的な質問は背景の細部や、画像の背後にある文脈を含め、画像のさまざまな領域を選択的に対象にすると述べています。

なぜ画像キャプション生成より難しいか

VQAが提案される前、画像と言語を組み合わせた研究として盛んだったのが画像キャプション生成(画像を説明する文を作るタスク)です。キャプション生成は、AIの実現に向けた一歩になると期待されていました。

ところが論文によると、当時の最先端の結果からは、画像の場面全体をおおまかに理解し、単語の並び方の統計(n-gram統計)を組み合わせるだけで、それらしい説明文が作れてしまうことが分かってきました。つまり、画像を細かく理解していなくても、よくある言い回しで一般的な説明文を出せば、ある程度の評価を得られてしまいます。論文はこのことから、キャプション生成は期待されていたほどAI完全(解ければ人間並みの知能に近づいたといえるほど難しい課題)ではないかもしれないと指摘しました。

VQAでは、質問が画像の特定の部分や文脈を名指しで問うため、一般的な説明文でごまかすことができません。そのため論文は、VQAに成功するシステムには、一般的な画像キャプションを作るシステムよりも詳しい画像の理解と複雑な推論が必要になると位置づけています。

なぜ重要な課題とされたか

論文は、次の世代のAIを生み出すための理想的な課題の条件として、次の2つを挙げています。

1. コンピュータビジョンのような1つの分野にとどまらない、複数の種類(マルチモーダル)の知識を必要とすること
2. 進歩を追跡できる、明確に定義された定量的な評価指標があること

VQAは1つ目の条件について、画像を理解するコンピュータビジョン、質問を読み答えを作る自然言語処理、知識や常識を使う知識表現と推論という、複数の分野の能力を同時に必要とします。

2つ目の条件について、論文はVQAが自動評価に向いていると述べています。オープンエンドな答えであっても、多くは数語で済む短いものであり、また答えの候補を限った多肢選択の形式にもできるため、正解かどうかを機械的に判定しやすいからです。説明文の良し悪しを採点しにくいキャプション生成と比べ、ここがVQAの利点です。

論文では、このタスクのために約25万枚の画像、約76万件の質問、約1000万件の答えからなるデータセットも公開されました。

まとめ

VQAは、画像と質問を入力として答えを出すという、画像と言語をまたぐタスクの定義です。特定のモデルの名前ではなく、モデルが取り組む課題の名前である点に注意してください。質問の種類が幅広いため細かな画像理解と推論が必要になり、しかも答えの正否を自動で評価しやすいことから、マルチモーダルなAIの能力を測る課題として位置づけられています。