発展：アライメント（指示チューニング・RLHF・DPO）

言語モデルのレッスンの続きとして、大量の文章を読んだだけのモデルを人の意図に沿う受け答えへと仕上げる事後学習（アライメント）を機構のレベルまで掘り下げます。指示と応答の組で仕上げる指示チューニング、人の好みを報酬にして調整する RLHF の3段階、報酬の抜け穴という落とし穴、そして報酬モデルも強化学習も使わずに好みから直接調整する DPO までを実装のコードは扱わず、なぜその順で仕上げるのかに絞って説明します。