発展:効率的なファインチューニング(LoRA と QLoRA の考え方)
転移学習とファインチューニングのレッスンの続きとして、巨大なモデルを少ない手間で目的に合わせる工夫を掘り下げます。すべての重みを学び直す全体のファインチューニングがなぜ重いのか、変化ぶんだけを小さな形で学ぶ低ランク適応(LoRA)の考え方、なぜ小さな形で足りるのか、土台を軽くして必要メモリを減らす QLoRA、そして差し替えられる部品として持てる利点までを実装のコードは扱わず、考え方に絞って説明します。
転移学習とファインチューニングのレッスンの続きとして、巨大なモデルを少ない手間で目的に合わせる工夫を掘り下げます。すべての重みを学び直す全体のファインチューニングがなぜ重いのか、変化ぶんだけを小さな形で学ぶ低ランク適応(LoRA)の考え方、なぜ小さな形で足りるのか、土台を軽くして必要メモリを減らす QLoRA、そして差し替えられる部品として持てる利点までを実装のコードは扱わず、考え方に絞って説明します。