大規模言語モデル

少数の例で多様な自然言語タスクに対応するモデル

大規模言語モデル(LLM)は、さまざまな自然言語タスクにわたって、few-shot learningを用いて優れた性能を達成することが示されてきた言語モデルです。1つのタスクだけでなく、多様なタスクで性能を発揮する点が特徴として挙げられています。

few-shot learningが減らすもの

few-shot learningは、モデルを特定の用途に適応させるときに必要となる、タスク固有の学習例の数を大幅に減らす学習の仕方です。大規模言語モデルがこの方法で高い性能を示せるということは、新しい用途ごとに大量の学習例を用意しなくても、少数の例でモデルをその用途に適応させられる可能性を意味します。大規模言語モデルの性能は、この適応の手間の小ささと結び付けて語られています。

規模がfew-shot学習に与える影響への関心

大規模言語モデルの研究では、モデルの規模がfew-shot学習にどのような影響を与えるのかを理解することが関心の1つになっています。その理解を深める目的で、5400億(540-billion)パラメータという規模の、密に活性化されるTransformerの言語モデルを訓練した研究があります。この数値は特定のモデルの例であり、大規模言語モデル一般の規模を定めるものではありません。ここで押さえるべき点は、規模を大きくしたときにfew-shot学習の性能がどう変わるかを確かめることが、研究の動機になっているという関係です。

埋め込みが中核にあるという位置づけ

単語などを数値のベクトルとして表す埋め込み(embedding)は、大規模言語モデルやその他の現代的な応用の中核にあると位置づけられています。大規模言語モデルを学ぶときは、規模やfew-shot学習といった特徴だけでなく、その土台に埋め込みという考え方があることもあわせて理解しておくと、言語をどう数値として扱うモデルなのかをつかみやすくなります。

理解の要点

大規模言語モデルについては、次の3点を結び付けて理解することが大切です。第一に、few-shot learningによって多様な自然言語タスクで優れた性能を示すこと。第二に、その学習の仕方がタスク固有の学習例の数を大幅に減らすこと。第三に、モデルの規模がfew-shot学習に与える影響が研究の関心となっており、その中核には埋め込みがあることです。