PaLM

few-shot学習と規模の影響を調べるためのモデル

大規模言語モデルは、few-shot学習によってさまざまな自然言語タスクで優れた性能を示すことが知られています。few-shot学習では、モデルを特定の用途に適応させるために必要なタスク固有の訓練例を大幅に減らせます。PaLM(Pathways Language Model)は、この few-shot学習に対してモデルの規模がどのような影響を与えるのかの理解を深めることを目的として訓練された言語モデルです。

PaLMは、5400億(540B)パラメータを持つ、密に活性化された(densely activated)Transformer言語モデルです。密に活性化されたとは、モデルの計算にパラメータ全体が使われる形のモデルであることを表しています。

Pathwaysと6144個のTPU v4による訓練

PaLMという名前の由来になっているのが、訓練に使われたPathwaysです。Pathwaysは、複数のTPU Podにまたがって非常に効率の高い訓練を可能にする、新しい機械学習システムとして紹介されています。PaLMは、このPathwaysを使い、6144個のTPU v4チップで訓練されました。モデルそのものの設計だけでなく、巨大なモデルを多数のチップで効率よく訓練するための基盤もあわせて示された点が特徴です。

数百のベンチマークで示された成果

PaLMは、規模を大きくすることの利点が引き続き得られることを、数百に及ぶ言語理解と言語生成のベンチマークで最高水準のfew-shot学習の結果を達成することによって示しました。

そのうちのいくつかのタスクでは、PaLM 540Bは画期的な性能を示しています。具体的には、多段階の推論を必要とするタスク群で、ファインチューニングされた最高水準のモデルを上回りました。また、当時新たに公開されたBIG-benchベンチマークでは、人間の平均的な性能を上回る結果を示しました。few-shot学習、つまりタスク固有の訓練例をわずかしか与えない条件で、ファインチューニングされたモデルを上回った点が注目されます。

規模に応じた不連続な性能の向上

BIG-benchの少なくない数のタスクでは、モデルの規模に対して性能が不連続に向上する現象が見られました。これは、最大のモデルまで規模を大きくしたときに、性能が急激に高まったことを意味します。規模を少しずつ大きくすると性能もなだらかに上がる、という見方だけでは捉えられない変化が観察された点が、PaLMの報告の重要な内容の一つです。

多言語タスクとソースコード生成

PaLMは、英語の言語タスクに限らず、多言語のタスクやソースコードの生成にも強い能力を持つことが、幅広いベンチマークで示されています。

バイアス、有害性、記憶と倫理的な配慮

PaLMの報告は、性能の高さだけを扱っているわけではありません。バイアスと有害性(toxicity)について包括的な分析を行い、モデルの規模に応じて訓練データがどの程度記憶されるのかも調べています。さらに、大規模言語モデルに関わる倫理的な考慮事項を論じ、考えられる緩和策についても議論しています。大規模化による能力の向上と、それにともなう課題の両方を扱っている点も、PaLMを理解するうえで押さえておきたい点です。