基盤モデル

基盤モデルの定義

基盤モデル(Foundation Model)は、スタンフォード大学のCRFMに所属するボマサニ(Bommasani)らが2021年の報告書 On the Opportunities and Risks of Foundation Models で名付けた語です。報告書は基盤モデルを次のように定義しています。

• 幅広いデータ(broad data)で訓練されたモデルであること。訓練には、一般に大規模な自己教師あり学習が使われます
• ファインチューニングなどによって、幅広い下流タスクへ適応(adapt)できること

ここでいう下流タスクとは、訓練を終えたモデルを出発点にして取り組む個々の具体的な課題のことです。報告書は現在の例として、BERT、GPT-3、CLIPを挙げています。要旨ではDALL-Eにも触れています。

名前に込められた意味

報告書によれば、基盤(foundation)という名前は、これらのモデルが持つ決定的に中心的(critically central)でありながら未完成(incomplete)でもある性格を強調するために選ばれました。基盤モデルはそれ自体で完成品になるのではなく、その上に多くの応用モデルが築かれる土台だという見方です。土台である以上、その良い点も悪い点も上に載るもの全体に影響します。この点は後で説明する均質化の話につながります。

技術的には新しくない、しかし規模が違う

報告書は、技術的な観点では基盤モデルは新しいものではないと明言しています。基盤モデルは深層ニューラルネットワークと自己教師あり学習に基づいており、どちらも数十年前から存在する技術です。要旨でも、基盤モデルは標準的な深層学習と転移学習に基づいていると述べています。

それでも基盤モデルが注目されるのは、ここ数年のモデルの規模(scale)と範囲(scope)が、可能なことについての想像を大きく広げたからです。報告書の例では、GPT-3は1750億個のパラメータを持ち、多くのタスクについて明示的に訓練されていないにもかかわらず、自然言語による指示(プロンプト)で適応させるだけで、幅広いタスクをまずまずの水準でこなせます。

報告書はこの関係を次の一文にまとめています。

• 転移学習が基盤モデルを可能にし、規模が基盤モデルを強力にする

つまり、ある訓練で得た知識を別のタスクに生かす転移学習という仕組みがあるからこそ、1つのモデルを多くのタスクへ適応させるという使い方が成り立ちます。そのうえで、規模を大きくしたことによって、以前にはなかった新しい能力が現れるようになりました。

2つの特徴 創発と均質化

報告書は、基盤モデルの意義を創発(emergence)と均質化(homogenization)という2つの語で要約しています。

創発とは

創発とは、システムの振る舞いが、人が明示的に組み立てたものではなく、暗黙のうちに引き出されて現れることを指します。報告書は、創発は科学的な興奮の源であると同時に、予期しない結果への不安の源でもあると述べています。要旨でも、基盤モデルの規模が新しい創発的な能力をもたらすとしています。

均質化とは

均質化とは、機械学習システムを作る方法論が、幅広い応用にわたって1つにまとまっていくことを指します。報告書は、均質化は多くのタスクに対して強い効果をもたらす一方で、単一障害点(そこが壊れると全体が影響を受ける1か所)も生み出すと述べています。

機械学習から基盤モデルへの3段階

報告書は、AIの歴史を創発と均質化が段階的に強まってきた流れとして描いています。どの段階で何が自動的に生まれるようになり、何が共通化されたのかを並べると次のとおりです。

機械学習の段階

• 創発: タスクをどのように実行するかが、事例から自動的に推論されるようになりました
• 均質化: 学習アルゴリズムが共通化されました。例としてロジスティック回帰が挙げられています

深層学習の段階

• 創発: 予測に使う高次の特徴量が自動的に現れるようになりました
• 均質化: モデルのアーキテクチャが共通化されました。例として畳み込みニューラルネットワークが挙げられています

基盤モデルの段階

• 創発: 文脈内学習(in-context learning)のような高度な機能までもが現れるようになりました
• 均質化: モデルそのものが共通化されました。例としてGPT-3が挙げられています

段階が進むにつれて、人が手で決める部分が減り、自動的に生まれる部分が増えています。同時に、共通化される対象も、アルゴリズム、アーキテクチャ、モデルそのものへと大きくなっています。

均質化の利点と注意点

報告書は、基盤モデルによって前例のない水準の均質化が起きていると述べています。自然言語処理では、最先端のモデルのほとんどが、BERT、RoBERTa、BART、T5など、少数の基盤モデルのどれかから適応して作られるようになりました。

利点

均質化は非常に大きな効果をもたらします。基盤モデルに加えた改善は、それを使う自然言語処理全体へすぐに恩恵をもたらしうるからです。

注意点

一方で、報告書は均質化を負債(liability)でもあると述べています。すべてのAIシステムが、少数の基盤モデルが持つ同じ問題のある偏り(バイアス)を受け継ぐおそれがあるためです。要旨でも、基盤モデルの欠陥は、そこから適応されたすべての下流のモデルに受け継がれるため、均質化には注意が必要だとしています。

改善も欠陥も同じ経路で一斉に広がる、という両面を持つ点が、基盤モデルの均質化を理解する要になります。