言語モデルの発展：BERT から大規模言語モデルへ

ねらい

このレッスンでは、コンピュータが文章を扱う土台となる言語モデルを学びます。

基礎

「言語モデルは次の言葉を予測するしくみで、文脈に応じて意味をとらえる」という全体像をつかみます。前提となる知識がなくても、ここは読み切れます。

1. 言語モデルとは、次の言葉を予測するしくみです

言語モデル（げんごモデル）とは、ある言葉の並びの続きに、どの言葉が来やすいかを予測するしくみです。たくさんの文章を読んで、「この流れなら次はこの言葉が来やすい」という予測の力を身につけます。

たとえば「空が」まで来たら、次は「青い」や「くもっている」が来やすい、と予測します。「今日の天気は」まで来たら、次は「晴れ」や「雨」が来やすい、と予測します。人が正解を1つずつ教えるのではありません。大量の文章そのものが、次に来る言葉のお手本になります。

この予測をくり返すと、文章を作ることもできます。予測した言葉を並びの末尾に足し、それをまた手がかりにして、次の言葉を予測します。この動きをくり返すと、一文、そして一段落と、文章がつながっていきます。

2. 同じ単語でも、文脈で意味が変わります

言葉の意味は、前後の文脈によって変わります。この文脈のあつかいが、言語モデルの大切なはたらきです。

単語の意味をベクトルで表す方法は、単語の分散表現のレッスンで学びました。そこでの方法には、1つの単語に1つのベクトルしか持てない、という限界がありました。たとえば「はし」は、「橋」の意味も「箸」の意味も持ちますが、同じベクトルになってしまいます。

言語モデルは、この限界を越えます。前後の言葉を読み取り、同じ「はし」でも、文脈に応じてちがう表現を与えます。「川に かかる はし」なら橋の意味に、「ごはんを たべる はし」なら箸の意味に近づけます。文脈に応じて表現を変える、この考え方の先がけとなったのが ELMo（エルモ、Embeddings from Language Models）です。

3. まず学び、あとで使い回す：BERT と大規模言語モデル（LLM）

今の言語モデルの多くは、2段階で作られます。この段取りが、性能を大きく引き上げました。

1段階目では、大量の文章をただ読ませて、言葉のつながりを幅広く学ばせます。この段階を事前学習（じぜんがくしゅう）と呼びます。ここでは、翻訳や要約といった特定の仕事は決めません。ことばの一般的な使われ方を広く身につけさせます。

2段階目では、身につけた土台を目的の仕事に合わせて仕上げます。この考え方をとった代表的なモデルが BERT（バート、Bidirectional Encoder Representations from Transformers）です。そして、事前学習をきわめて大きな規模で行ったものが、大規模言語モデル（LLM）（だいきぼげんごモデル、Large Language Models）です。大量の文章で言葉の使い方を広く学んだあと、さまざまな仕事に使い回せる点が、共通の特徴です。

ここまでの要点

• 言語モデルは、直前までの言葉から次の言葉を予測するしくみです。
• 前後の文脈を読み取り、同じ単語にも文脈に応じた表現を与えます。
• 大量の文章でまず学び、あとで目的の仕事に使い回します。大きく学んだものが大規模言語モデル（LLM）です。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「言語モデルは次の言葉を予測し、文脈をとらえ、まず学んでから使い回す」と押さえられていれば、このテーマの土台はできています。

発展

ここからは、言語モデルを確率のことばでとらえ直し、そのしくみがどう発展してきたのかをくわしく見ます。予測の確率や大規模化の効果など、数式も少し使います。

4. 言語モデルを確率のことばで

言語モデルがすることは、次の言葉の確率を計算することです。直前までの言葉の並びを手がかりに、次に来る言葉の起こりやすさを確率として出します。

文章が現れる確率は、単語を1つずつ予測する確率のかけ算に分けられます。式で書くと、次のようになります。

（文全体の確率）＝（1語目の確率）×（1語目のあとに2語目が来る確率）×（さらにそのあとに3語目が来る確率）×…

言葉で読み下すと、こうです。文の起こりやすさは、各単語が「それより前の単語列のもとで」現れる確率を順にかけ合わせたものです。この「直前までをふまえて、次の1語の確率を出す」計算を単語の数だけくり返します。

次に来る言葉の候補は、語彙（ごい）の数だけあります。そのすべてに確率を割りふり、合計が1になるようにそろえます。この割りふりの計算には、ソフトマックス関数を使います。ソフトマックス関数のしくみは、活性化関数のレッスンで学んだとおりです。ここでは、多くの候補に確率を配って合計を1にそろえる、と押さえてください。

この確率の配り方が鋭いか、なだらかかで、予測の「迷い」の大きさが変わります。この迷いの大きさを表す指標をパープレキシティ（perplexity）と呼びます。分布が鋭く、次の言葉に自信があるほどパープレキシティは低く、なだらかで迷いが大きいほど高くなります。

5. 長い文脈を保つ工夫と、その限界：CEC

言語モデルは、長い文章を扱うほど難しくなります。文の先のほうにある言葉を後まで覚えておく必要があるからです。

もともと、時系列のデータを順に読むにはリカレントニューラルネットワークを使いました。この回帰結合のしくみは、回帰結合層のレッスンで学びました。ただし、単純な回帰結合には弱点がありました。前のほうの情報を後まで運ぶうちに、学習の手がかりが消えたり暴れたりする、勾配消失問題や勾配爆発問題です。これらのしくみは、誤差逆伝播法のレッスンで学びました。

この弱点をやわらげるために考えられたのが CEC（シーイーシー、Constant Error Carousel）です。CEC とは、情報を運ぶ通り道で、学習の手がかりを一定に保つしくみです。前のほうの情報が後まで消えずに届くよう、手がかりが増えも減りもしない専用の通り道を用意します。この考え方は、長い文脈を覚えられるゲート機構、たとえば LSTM（エルエスティーエム）の中心にあります。

CEC のような工夫を重ねても、回帰結合には限界がありました。言葉を1つずつ順に読むため、遠くの言葉どうしの関係をとらえにくく、計算も並べて進めにくいのです。この限界を越えたのが、離れた言葉どうしの関係を直接とらえる Attention（アテンション）と、それを土台にした Transformer（トランスフォーマー）でした。Attention と Transformer のしくみは、要素技術の章で学びました。ここでは、言語モデルの土台が、順に読む回帰結合から、関係を直接とらえる Transformer へ移った、という流れを押さえてください。

6. 事前学習済みモデルの3つの型

Transformer を土台にした事前学習済みモデルは、大きく3つの型に分けられます。どの部分を使うかで、得意な仕事が変わります。

エンコーダ型の代表が BERT です。BERT は、文章の一部の単語をかくして、かくした単語を前後の文脈から当てる練習で事前学習します。前と後ろの両方を同時に見て読み取るため、双方向（そうほうこう）と呼ばれます。文章の意味を読み取る仕事、たとえば分類や質問への答えさがしを得意とします。

デコーダ型は、直前までの言葉から次の言葉を予測することに特化した型です。第4節で見た、次の言葉の確率を順に出すしくみをそのまま大きくしたものにあたります。文章を作る仕事を得意とし、今の大規模言語モデル（LLM）の多くが、この型を土台にしています。

エンコーダ・デコーダ型は、入力を読み取る部分と、出力を作る部分の両方を持ちます。ある文を読んで別の文へ変換する仕事、たとえば翻訳や要約に向きます。

なお、単語をどんな単位に区切ってモデルに入れるかも、性能を左右します。この区切り方の詳しい話は、テキストの数値化を学ぶレッスンであらためて扱います。

7. 言語理解の力をどう測るか：GLUE

言語モデルの良し悪しは、感覚では比べられません。同じものさしで測る必要があります。そのために作られたのが GLUE（グルー、General Language Understanding Evaluation）です。

GLUE とは、文章の理解を問う複数の課題をひとまとめにした、評価のためのベンチマークです。ベンチマークとは、性能を同じ土俵で比べるための、共通の試験問題集のことです。GLUE には、2つの文が同じ意味かを判定する課題や、文の感情を判定する課題などが含まれます。複数の課題での成績をまとめて見ることで、言語を理解する力をかたよりなく測ろうとします。

GLUE の登場は、言語モデルの進歩を測りやすくしました。新しいモデルが出るたびに、同じものさしで前のモデルと比べられるようになったからです。

8. 大規模化で何が起きたか：PaLM とスケーリング則

事前学習を大きな規模で行うと、言語モデルの性能はどう変わるのでしょうか。ここで、規模の大きさが効いてきます。

モデルの規模には、主に3つの軸があります。ネットワークの大きさを表すパラメータ数、学習に使う文章の量、そして計算にかける量です。この3つを大きくするほど、モデルの性能がなめらかに上がっていく傾向が知られています。この経験的な関係をスケーリング則（スケーリングそく、scaling laws）と呼びます。大規模言語モデル（LLM）を理解するうえで欠かせない考え方です。

規模を大きくした代表例が PaLM（パーム、Pathways Language Model）です。PaLM は、Google が2022年に公表した大規模な言語モデルで、当時としてはきわめて多くのパラメータを持ちました。大規模化を推し進めたモデルの1つとして知られています。

大規模化を進めると、小さいモデルには見られなかった能力が、ある規模を境に急に現れることがあります。この現象を創発能力（そうはつのうりょく、emergent abilities）と呼びます。

そうした能力の1つが、文脈内学習（ぶんみゃくないがくしゅう、in-context learning）です。文脈内学習とは、モデルの中身を学習し直さずに、問いかけの中にいくつか例を示すだけで、その場で解き方をつかむふるまいを指します。例を1つだけ示す場合を One-shot（ワンショット）、少数の例を示す場合を Few-shot（フューショット）と呼びます。One-shot と Few-shot は、転移学習を学ぶレッスンで詳しく扱います。

さらに、答えにいたる途中の考えを順を追って書き出させると、難しい問いの正答率が上がることがあります。この工夫を思考の連鎖（しこうのれんさ、chain-of-thought）と呼びます。

9. 人の意図に沿わせる：アライメント

大量の文章を読んだだけのモデルは、次の言葉を上手に予測できても、人の指示に素直に従うとはかぎりません。もっともらしいだけで、危険だったり的外れだったりする答えを出すこともあります。そこで、モデルの出力を人の意図や価値に沿わせる調整が要ります。この調整をアライメント（alignment）と呼びます。

アライメントがめざすのは、役に立ち、正直で、無害な出力です。この3つの性質は、英語の頭文字をとって helpful、honest、harmless と呼ばれます。

アライメントの代表的な進め方の1つが、指示チューニング（instruction tuning）です。指示と、それに対する望ましい応答の組を数多く学ばせ、指示に従うふるまいを身につけさせます。

さらに、人がより好む応答を選んだ記録を手がかりに、好まれる出力へ寄せる調整もあります。人の評価を使って強化学習の枠組みで調整する方法が、RLHF（アールエルエイチエフ）です。RLHF のしくみは、深層強化学習のレッスンで詳しく扱います。ここでは、人の好みを手がかりにモデルを人の意図へ寄せる調整である、と押さえてください。人の好みの記録から直接調整する DPO（ディーピーオー、Direct Preference Optimization）という方法もあります。

10. Transformer 以降の新しいアーキテクチャ

ここからは、現行の技術に触れます。今の大規模言語モデル（LLM）を理解するのに役立ちます。手法を軸に説明し、製品名は時点を添えた例として挙げます。

1つ目は、専門家の混合（Mixture-of-Experts、通称 MoE）です。これは、モデルの中に役割の異なる小さな部品をたくさん用意し、入力ごとに一部だけを使う考え方です。全体は大きくしながら、1回の計算で動く部分を絞れるため、計算の効率を上げられます。

2つ目は、状態空間モデル（State Space Model）と呼ばれる系列の扱い方です。その代表が Mamba（マンバ、2023年ごろに登場）です。長い系列を効率よく扱うことをねらい、回帰結合の考え方を現代的に作り直したものにあたります。Transformer と組み合わせた、ハイブリッドと呼ばれる構成も研究されています。

3つ目は、推論に特化させる工夫です。答えを出す前に、考える手順を長く費やすほど正答率が上がる、という性質を活かします。第8節で触れた思考の連鎖をモデルの訓練の段階から作り込む方向です。

これらの手法は入れ替わりが速く、代表となる製品も年ごとに変わります。ここでは、個々の製品名よりも、専門家の混合や状態空間モデルといった手法の考え方をつかんでおくと、新しいモデルが出ても筋道を追えます。

理解度の確認