発展：アライメント（指示チューニング・RLHF・DPO）

ねらい

このレッスンは、言語モデルのレッスンの続きにあたる発展（はってん）の記事です。いまの対話型の大規模言語モデル（だいきぼげんごモデル、Large Language Models）が、なぜ指示に素直に従い、危ない答えを避けるのか。その理由は、事前学習のあとに行う仕上げ、すなわちアライメント（alignment）にあります。ここでは、その仕上げの中身を機構のレベルまで見ます。

この記事は、ある程度の知識のある人に向けた深掘りです。言語モデルが大量の文章で事前学習され、次の単語を予測して文章を作る、という土台をつかんでいることを前提にします。強化学習の方策と報酬の考え方（第3章の方策ベースのレッスン）にも一度触れておくと、読みやすくなります。実装のコードは扱いません。なぜ、指示チューニング、人の好みでの調整、という順で仕上げるのか、という考え方に絞ります。

1. まず、指示に従う型を教える：指示チューニング

大量の文章を読んだだけのモデルは、次の単語を上手に予測できます。しかしそれは「もっともらしい続き」を作る力であって、「人の役に立つ受け答え」をする力とは別ものです。「東京の人口を教えて」と入力しても、事前学習しただけのモデルは答えを返すとはかぎらず、「大阪の人口も教えて。」と質問の続きを作ってしまうことがあります。もっともらしい続きとしては、それも自然だからです。危ない質問に危ない答えをそのまま返すこともあります。読んだ文章の中に、そういう続きがあったからです。つまり、事前学習しただけのモデルは、力はあっても向きがそろっていません。この向きを人の意図や価値にそろえる仕上げがアライメント（alignment）です。

最初の仕上げは、指示チューニング（しじチューニング、instruction tuning）です。指示と、それに対する望ましい応答の組を数多く見せて学ばせます。

たとえば、「次の文章を要約して」という指示と、その良いお手本の要約。「ていねいな言葉で断って」という指示と、その良い断り方。こうした指示と応答の組を人が用意して、数多く学ばせます。すると、モデルは「指示が来たら、その続きを作るのではなく、指示に応える」という型を身につけます。事前学習で身につけた言葉の力はそのままに、受け答えの向きが「指示に従う」ほうへそろっていきます。

この仕上げは、正解のお手本を見せて学ばせるので、教師あり学習のレッスンで学んだやり方の延長にあります。あらかじめ用意した良い応答をお手本に、それをまねられるように調整します。指示チューニングを終えたモデルは、指示にひととおり従えるようになります。

ただし、これだけでは足りません。指示に従う型は身についても、2つの応答があったときに、どちらがより良いか、という細かな好みまでは教え切れません。お手本を1つ見せるやり方では、「これは良い」とは示せても、「こちらよりあちらのほうが良い」という比べ方は示しにくいのです。そこで、次の仕上げが要ります。

理解の確認

指示チューニングは、指示と望ましい応答の組を数多く学ばせ、モデルに「指示に応える」型を身につけさせる仕上げです。正解のお手本をまねる教師あり学習の延長にあります。ただし、2つの応答のどちらがより良いか、という細かな好みまでは教え切れません。

2. 人の好みを報酬にする：RLHF の3段階

次の仕上げが、人の好みを手がかりにした調整です。その代表が RLHF（アールエルエイチエフ、Reinforcement Learning from Human Feedback）です。日本語では、人のフィードバックによる強化学習と呼ばれます。おおまかに3つの段階からなります。

1つ目の段階は、指示チューニングです。前の節で見たとおり、まず指示に従う型を作ります。ここが土台になります。

2つ目の段階は、人の好みを学ぶ別のモデルを作ることです。同じ指示に対して、モデルにいくつかの応答を作らせ、人に「どちらがより良いか」を選んでもらいます。この、どちらが良いかの比べ方をたくさん集めます。集めた比べ方を学ばせて、「この応答は、人にどれだけ好まれそうか」を点数で表すモデルを作ります。これを報酬モデル（ほうしゅうモデル、reward model）と呼びます。報酬モデルは、応答を受け取ると、その良さを1つの点数で返します。人の好みという、そのままでは数にしにくいものを点数にして扱えるようにする、という役割です。

3つ目の段階は、その報酬モデルの点数が高くなるように、もとのモデルを調整することです。ここで強化学習の枠組みを使います。モデルが応答を作り、その応答を報酬モデルが採点し、点数が高くなる方向へモデルを更新する。これをくり返します。文章を作る方策を報酬が増える方向へ動かしていくこの動きは、方策ベースのレッスンで学んだ方策勾配法の考え方にあたります。

ただし、報酬だけを追い求めると、モデルは元の言葉づかいから大きく外れ、点数は高いのに不自然な応答へ崩れることがあります。それを防ぐため、調整では「元のモデルからあまり離れない」という縛りも同時にかけます。報酬を上げつつ、元から離れすぎない。この2つのつり合いの中で、人に好まれる受け答えへ寄せていきます。

理解の確認

RLHF は3段階です。指示チューニングで土台を作り、人が「どちらが良いか」を選んだ比べ方から報酬モデル（応答の良さを点数で返すモデル）を作り、その報酬が高くなるよう強化学習でモデルを調整します。報酬だけを追うと崩れるため、元のモデルから離れすぎない縛りも同時にかけます。

3. 落とし穴：報酬の抜け穴

RLHF には、避けがたい落とし穴があります。報酬モデルは、人の好みを完全に写し取ったものではなく、あくまで近似です。近似である以上、必ずどこかにずれや抜け穴があります。

強化学習は、報酬を最大にしようと、あらゆる手を探します。すると、人が本当に望むことではなく、報酬モデルの点数が上がる見かけの特徴を突いてしまうことがあります。たとえば、長く書くほど点数が上がる傾向が報酬モデルにあると、中身が薄くても、やたらと長い応答を作るようになる、といったことです。人の本当の好みではなく、採点者の癖を突いてしまう。この現象を報酬の抜け穴（reward hacking）や、報酬の過剰な最適化と呼びます。

だから、調整はやりすぎてもいけません。報酬を追いすぎると、点数は高いのに、実際には質の落ちた応答へ向かうことがあります。前の節で見た「元から離れすぎない縛り」は、この暴走をやわらげる役目も担っています。報酬モデルの質を上げること、追いすぎないこと、この2つが要になります。

理解の確認

報酬モデルは人の好みの近似にすぎず、抜け穴があります。強化学習が報酬を追い求めるあまり、人の本当の望みではなく報酬モデルの癖を突くことを報酬の抜け穴（reward hacking）と呼びます。対策として、報酬モデルの質を上げること、調整をやりすぎないこと、元から離れすぎない縛りをかけることが要になります。

4. 報酬モデルも強化学習も使わない：DPO

RLHF は強力ですが、手間がかかります。報酬モデルを別に作り、強化学習の輪を回す必要があり、途中の調整も難しいからです。そこで、同じ「人の好みに寄せる」ことをもっと簡単に行う方法が考えられました。その代表が DPO（ディーピーオー、Direct Preference Optimization）です。日本語では、直接の選好最適化と呼ばれます。

DPO の考え方は、報酬モデルを別に作らず、強化学習の輪も回さず、人の好みの比べ方から、モデルを直接調整することです。使うデータは RLHF と同じ、「同じ指示に対して、こちらの応答よりあちらの応答が好まれた」という比べ方の組です。DPO は、この組を使って、「好まれた応答をより作りやすく。好まれなかった応答をより作りにくく」なるように、モデルを直接調整します。ちょうど、良い例と悪い例を見分ける、教師あり学習に近い形の調整です。

強化学習の輪を回さないので、学習が安定しやすく、手順も簡素になります。報酬モデルという別の部品も要りません。このため、DPO やその仲間は、いまの調整で広く使われています。一方で、報酬モデルを介する RLHF のほうが柔軟に細かく効かせられる場面もあり、どちらがよいかは、目的や規模によって変わります。ここでは、RLHF が報酬モデルと強化学習を介するのに対し、DPO は好みの比べ方から直接調整する、という違いを押さえてください。

理解の確認

DPO は、報酬モデルを別に作らず、強化学習の輪も回さず、人の好みの比べ方から、好まれた応答を作りやすく、好まれなかった応答を作りにくく、モデルを直接調整する方法です。教師あり学習に近い形で、学習が安定しやすく手順も簡素です。RLHF の柔軟さが要る場面もあり、優劣は目的や規模によります。

5. アライメントと倫理のつながり

アライメントは、技術の話であると同時に、価値の話でもあります。何を「良い応答」とするか、何を「無害」とするかは、人が決める価値判断だからです。

報酬モデルや好みの比べ方を用意するのは人です。その人たちの価値観や偏りが、そのままモデルの受け答えの向きに映り込みます。だれの好みをどう集めるか。何を無害とし、何を断らせるか。これらは、AI 倫理・AI ガバナンスのレッスンで扱う、公平性や価値原則の問題と、地続きです。

また、アライメントは万能ではありません。うまく調整しても、想定していない問いには崩れることがあり、危ない答えを引き出そうとする働きかけに、抜け道を突かれることもあります。だからこそ、調整だけに頼らず、運用の中で見守り、点検し続けることが要ります。この運用の話は、社会実装や AI ガバナンスのレッスンにつながります。

理解度の確認