発展：スケーリング則と創発能力

ねらい

このレッスンは、学習の調整のレッスンの続きにあたる発展（はってん）の記事です。いまの大規模言語モデル（だいきぼげんごモデル、Large Language Models）を理解するうえで欠かせないのが、規模と性能の関係です。「大きくすると、なぜ、どのように強くなるのか」。この問いに答えるのが、スケーリング則（scaling laws）です。言語モデルのレッスンでも名前が出てきますが、ここで先にくわしく見ます。

この記事は、ある程度の知識のある人に向けた深掘りです。ディープラーニングの学習の土台、とくにパラメータや学習データ、計算といった言葉をつかんでいることを前提にします。実装のコードは扱いません。なぜ規模を大きくすると性能が上がるのか、そして規模だけでは足りないのはなぜか、という考え方に絞ります。

1. 規模の3つの軸と、スケーリング則

まず、規模とは何を指すのかをはっきりさせます。モデルの規模には、主に3つの軸があります。

1つ目は、パラメータの数です。ネットワークの大きさ、つまり重みの数です。2つ目は、学習データの量です。学習に使う文章などの多さです。3つ目は、計算の量です。学習にかける計算の総量で、これは、大きなモデルを多くのデータで、長く学習するほど増えます。

スケーリング則とは、この3つを大きくするほど、モデルの性能がなめらかに上がっていく、という経験的な関係のことです。ここで大切なのは、「なめらかに」という点です。大きくした分だけ、性能がとびとびにではなく、連続して、しかも予想できる形で上がっていきます。ある規模での性能が分かれば、もっと大きくしたときの性能をおおよそ見積もれる。この見通しの良さが、スケーリング則の値打ちです。

性能をどう測るかというと、多くは、次の単語をどれだけ正しく予測できるか、という言語モデルの基本の物差しを使います。規模を上げると、この予測の誤差が、なめらかに下がっていきます。ここでは、パラメータ・データ・計算の3つを大きくすると、性能が予想できる形でなめらかに上がる、という関係がスケーリング則だ、と押さえてください。

理解の確認

規模には、パラメータの数・学習データの量・計算の量という3つの軸があります。スケーリング則は、これらを大きくするほど性能がなめらかに、予想できる形で上がる、という経験的な関係です。ある規模での性能から、もっと大きくしたときの性能をおおよそ見積もれます。

2. 限られた計算をどう配分するか

スケーリング則から、実務で大切な問いが出てきます。使える計算の量には限りがあるとき、それをパラメータの数と、学習データの量に、どう振り分けるのがいちばん良いか、という問いです。

というのも、計算の量は、おおまかに、パラメータの数と、学習データの量の掛け合わせで決まるからです。式で書くと、計算の量 ≒ パラメータの数 × 学習データの量 となります。読み下すと、どちらか一方を2倍にすれば計算の量も2倍になり、両方を2倍にすれば4倍になる、という関係です。この掛け算の形が、次の問いを生みます。同じ計算の量でも、大きなモデルを少しのデータで学習することもできれば、ほどほどのモデルをたっぷりのデータで学習することもできます。どちらの配分が、いちばん良い性能を生むのでしょうか。

かつては、とにかくモデルを大きくすることに重きが置かれた時期がありました。しかし、研究が進むと、限られた計算のもとでは、モデルの大きさと、学習データの量を釣り合いよく一緒に増やすほうが良い、と分かってきました。大きすぎるモデルを少ないデータで学習しても、データが足りず、性能を出し切れません。逆に、小さすぎるモデルに、いくらデータを与えても、頭打ちになります。両者を釣り合わせて、ともに増やす。これが、限られた計算を無駄なく使う配分だ、と整理されました。ここでは、計算に限りがあるなら、パラメータとデータを釣り合わせて増やすのがよい、と押さえてください。

理解の確認

計算の量は、おおまかにパラメータの数と学習データの量の掛け合わせで決まります。限られた計算のもとでは、モデルの大きさとデータの量を釣り合わせて一緒に増やすほうが、良い性能を生みます。大きすぎるモデルにデータが足りなくても、小さすぎるモデルにデータを与えすぎても、性能を出し切れません。

3. ある規模を境に現れる：創発能力

スケーリング則は、性能がなめらかに上がる、という話でした。ところが、それだけでは説明しにくい現象も報告されています。それが創発能力（そうはつのうりょく、emergent abilities）です。

創発能力とは、小さいモデルにはまったく見られなかった力が、ある規模を境に、急に現れるように見える現象です。次の単語を予測する基本の性能は、なめらかに上がっていく。ところが、たとえば何段階かの推論が要る課題や、これまで見たことのない形式の課題で、小さいモデルはほとんど解けなかったのに、規模がある線を越えたとたん、急に解けるようになる。こうした、規模の増加とともに段差をつけて現れる力が、創発能力と呼ばれてきました。

この現象は、大規模化への期待を強めました。大きくすれば、いま解けないことも、ある規模で急に解けるようになるかもしれない、という見方です。

ただし、創発能力には、議論もあります。「急に現れる」ように見えるのは、力を測る物差しの取り方のせいではないか、という指摘です。たとえば、答えが完全に合っているかどうか、という厳しい物差しで測ると、途中まで良くなっていても、最後の一歩がそろうまでは0点のままで、そろった瞬間に段差をつけて見えます。もっとなめらかな物差しで測れば、実は連続して上がっていた、という場合がある、というのです。だから、創発能力が本当に段差なのか、測り方の見かけなのかは、まだ結論の出ていない論点です。ここでは、ある規模を境に急に力が現れるように見える現象が創発能力と呼ばれ、その捉え方には議論がある、と押さえてください。

理解の確認

創発能力とは、小さいモデルには見られなかった力が、ある規模を境に急に現れるように見える現象です。大規模化への期待を強めましたが、「急に見える」のは力の測り方のせいで、なめらかな物差しでは連続して上がっている場合がある、という議論もあります。段差なのか見かけなのかは、まだ結論が出ていません。

4. 規模だけでは足りない

スケーリング則は強力ですが、規模を大きくすれば何でも解決する、というわけではありません。規模の限界も、あわせて押さえておきます。

1つは、事前学習しただけでは、人の役に立つ受け答えにはならないことです。事前学習とは、目的の仕事を決める前に、大量の文章でことばの使われ方を広く学ばせておく段階のことです。のちのアライメントのレッスンで扱うように、指示に従わせ、人の意図に沿わせる仕上げが、別に要ります。規模は土台の力を上げますが、その力を望ましい向きにそろえるのは、また別の仕事です。

もう1つは、規模を上げ続けるには、莫大な計算と、それにともなう電力や費用がかかることです。のちの倫理のレッスンで扱う、学習の電力消費の問題とも、地続きです。際限なく大きくすることには、現実の壁があります。

さらに、規模を上げても、事実に反することをそれらしく言う幻覚や、学習データにない新しい事柄への弱さは、そのままでは残ります。だからこそ、検索拡張生成のような外の知識を使う工夫や、考える時間を投じる推論の工夫が、規模とは別に重ねられています。ここでは、規模は土台の力を上げるが、望ましさ・費用・幻覚といった課題は規模だけでは解けない、と押さえてください。

理解度の確認