GLUE

複数のNLUタスクをまとめて評価するベンチマーク

GLUE(General Language Understanding Evaluation)は、自然言語理解(NLU)のモデルの性能を、多様な既存のNLUタスクにわたって評価するためのツール群です。一つのタスクだけで性能を測るのではなく、複数のタスクをまとめて評価の対象にするベンチマークです。含まれるタスクには、質問応答、感情分析、文含意(textual entailment)などがあります。あわせて、モデルの評価、比較、分析のためのオンラインのプラットフォームも用意されています。

単一タスクに閉じない言語理解を目指す背景

人間の言語理解は、汎用的で柔軟、かつ頑健です。これに対し、単語より上のレベルを扱う多くのNLUモデルは特定のタスク向けに設計されており、ドメイン外のデータには苦戦します。入力と出力の表面的な対応を見つけるだけでなく、それを超えた理解を持つモデルを目指すなら、異なるドメインでさまざまな言語タスクをこなせる、より統一的なモデルを開発することが重要になります。NLU技術が最大限役立つためには、単一のタスク、ジャンル、データセットに限らない形で言語を処理できる必要がある、というのがGLUEの出発点です。

学習データが限られたタスクをあえて含める設計

GLUEのタスクの中には、学習データが豊富なものもあれば、学習データが限られているもの、テストセットとジャンルが一致しないものもあります。学習データが限られたタスクを含めることで、GLUEはタスク間で一般的な言語知識を共有するモデルを優遇し、そうしたモデルづくりを促すように設計されています。個々のタスクのデータだけに頼るモデルよりも、タスクをまたいで言語知識を生かせるモデルが有利になる仕組みです。

入力と予測の形式以外はモデル構造を問わない

GLUEは、モデルのアーキテクチャに対して、単一の文と文のペアを入力として処理し、それに対応する予測を行えること以外の制約を課していません。この条件を満たせば、どのような仕組みのモデルでも同じタスク群で評価し、比較できます。

人手で作られた診断用テストスイート

GLUEには、人手で作られた診断用のテストスイートも含まれています。これにより、タスクごとの性能を測るだけでなく、モデルについて詳細な言語学的分析を行えるようになっています。

ベースライン評価が示したマルチタスク学習の効果と課題

GLUEの提案では、当時の転移学習や表現学習の手法に基づくベースラインが評価されました。その結果、すべてのタスクをまとめて学習するマルチタスク学習のほうが、タスクごとに別々のモデルを学習するよりも良い性能を示しました。一方で、最良のモデルでも絶対的な性能は低く、汎用的なNLUシステムの改善が必要であることが示されました。GLUEは、汎用的な言語理解がまだ達成されていないことを明らかにし、その改善に向けた共通の評価の場を提供するベンチマークとして位置づけられます。