マルチモーダルと基盤モデル：画像と言葉をつなぐ

ねらい

このレッスンでは、画像や言葉など、複数の種類のデータをまとめて扱うマルチモーダルと、幅広い課題に使える基盤モデル（きばんモデル）を学びます。

このレッスンは、前のレッスンで学んだ事前学習や転移学習を土台にします。マルチモーダルと基盤モデルは、いまの生成 AI の中心にあり、G検定でも比重の大きい分野です。発展では、その最新のしくみにもふみこみます。

基礎

「種類の違うデータを同じ土俵で結びつける」という全体像をつかみます。

1. マルチモーダルとは：種類の違うデータをまとめて扱う

データには、いろいろな種類があります。画像、文章、音声、動画などです。この一つひとつの種類をモダリティと呼びます。

これまで学んだモデルの多くは、画像だけ、あるいは文章だけ、というように、ひとつの種類のデータを扱うものでした。これに対して、画像と文章のように複数の種類をまとめて扱うことをマルチモーダルと呼びます。マルチは「複数の」という意味です。

種類の違うデータを結びつけられると、できることが大きく広がります。画像を言葉で説明する、言葉から画像を作る、画像について言葉で問答する、といった、種類をまたぐやりとりが可能になります。人が、目で見たものを言葉で語り、言葉から情景を思い描くのと似た力です。

2. 基盤モデル：幅広い課題の土台になる大きなモデル

マルチモーダルと合わせて重要なのが、基盤モデルという考え方です。

基盤モデルとは、大量で多様なデータを使って大規模に事前学習し、さまざまな課題の土台として使える、大きなモデルのことです。ひとつの課題のために作るのではなく、幅広い課題に転用できる土台として作る点が特徴です。

これまで学んだ大規模言語モデルも、基盤モデルの代表です。マルチモーダルの基盤モデルは、言葉だけでなく画像なども合わせて学び、多くの種類のデータにまたがる課題の土台になります。

こうした大きなモデルは、ひとつのモデルで複数の異なる課題を同時にこなせるように学ぶことがあります。これをマルチタスク学習と呼びます。ひとつの課題に特化させるより、複数の課題をまとめて学ぶほうが、共通して役立つ力が身につき、全体として賢くなることがあります。

ここまでの要点

• マルチモーダルは、画像・文章・音声など種類の違うデータをまとめて扱うことです。
• 基盤モデルは、大量で多様なデータで事前学習し、幅広い課題の土台に使える大きなモデルです。
• マルチタスク学習は、ひとつのモデルで複数の課題をまとめて学ぶことです。

まずは全体像をつかめれば十分という人は、ここで区切って大丈夫です。「種類の違うデータを結びつけるのがマルチモーダル」「幅広い課題の土台が基盤モデル」と押さえられていれば、この先の深掘りに進む土台はできています。

発展

ここからは、画像と言葉をどう結びつけるのか、代表的なモデルとタスクは何か、そして例なしで課題に取り組むしくみをくわしく見ます。

3. CLIP：画像と言葉を同じ空間に置く

種類の違うデータを結びつける代表的なしくみが、CLIP（クリップ）です。英語で Contrastive Language-Image Pre-training と書きます。名前のとおり、対照という考え方で、言葉と画像を合わせて事前学習する手法です。

CLIP は、インターネット上にある、画像とその説明文の大量のペアを使って学びます。学習のねらいは、対応する画像と説明文どうしは近く、対応しないものどうしは遠くなるように、画像と言葉を同じひとつの空間の中に配置することです。この、正しい組は近づけ、誤った組は遠ざける学び方を対照学習と呼びます。

学習がうまくいくと、画像と言葉が同じ空間の中で意味的に対応づきます。ある画像に近い場所にある言葉を探せば、その画像を言葉で言い当てられます。逆に、ある言葉に近い画像を探すこともできます。画像と言葉が、ひとつの共通のものさしで測れるようになるのです。

理解の確認

CLIP は、画像と説明文の大量のペアを使い、対応する画像と言葉が近く、対応しないものが遠くなるように、同じ空間へ配置します。この対照学習によって、画像と言葉を共通のものさしで結びつけます。

4. Zero-shot：例なしで課題に取り組む

CLIP のように画像と言葉を結びつけられると、おもしろいことができます。学習していない新しい分類を例を1つも与えずにこなせるのです。これを Zero-shot（ゼロショット）と呼びます。日本語では、ゼロ個の例で、という意味です。

前のレッスンで、少数の例から学ぶ Few-shot、1つの例から学ぶ One-shot を学びました。Zero-shot は、それをさらに進めて、例をまったく与えずに課題に取り組むことです。

たとえば、犬と猫と鳥を見分けたいとします。ふつうなら、それぞれのラベル付き画像を集めて学習が必要です。CLIP を使うと、「犬の写真」「猫の写真」「鳥の写真」という言葉を用意し、与えられた画像がどの言葉にいちばん近いかを調べるだけで、分類できます。分類のための学習をあらためて行っていないのに、言葉と画像の対応を手がかりに答えを出せます。これが Zero-shot の力です。

理解の確認

Zero-shot は、例を1つも与えずに新しい課題に取り組むことです。CLIP を使えば、分類したい候補を言葉で示し、画像がどの言葉に近いかを調べるだけで、あらためて学習せずに分類できます。

5. 代表的なマルチモーダルのモデルとタスク

画像と言葉をまたぐ、代表的なモデルとタスクを整理します。

まず、代表的なタスクです。

Image Captioning（イメージキャプショニング）は、画像を見て、その内容を説明する文章を作るタスクです。日本語では画像への説明文づけにあたります。

Text-To-Image（テキストトゥイメージ）は、逆に、文章で与えた指示から画像を作るタスクです。前のレッスンで学んだ拡散モデルなどが、この生成を担います。

Visual Question Answering（ビジュアルクエスチョンアンサリング）は、画像についての質問に、言葉で答えるタスクです。日本語では視覚的質問応答にあたります。写真を見せて「机の上に何がありますか」と問うと答える、といったやりとりです。

次に、代表的なモデルです。

DALL-E（ダリ）は、文章の指示から画像を作る、Text-To-Image の代表的なモデルとして知られます。

Flamingo（フラミンゴ）は、画像と文章を交ぜて扱い、少数の例を示すだけで新しい課題に対応できる、視覚と言語のモデルとして知られます。

Unified-IO（ユニファイドアイオー）は、画像・文章など多くの種類の入力と出力をひとつのモデルで統一して扱うことをめざしたモデルです。名前の Unified は「統一された」という意味です。多様な課題を共通のしくみでこなす方向を示しました。

理解の確認

Image Captioning は画像から説明文を作り、Text-To-Image は文章から画像を作り、Visual Question Answering は画像への質問に言葉で答えます。DALL-E は文章から画像を作る代表、Flamingo は少数の例に対応する視覚言語モデル、Unified-IO は多くの入出力を統一して扱うモデルです。

マルチモーダル大規模言語モデル

ここからは、いまの生成 AI の中心を知る手がかりになります。この分野は動きが速く、代表とされる製品は短期間で入れ替わるため、手法を軸に説明し、製品名は時点を添えた例として挙げます。

いま広く使われているのは、大規模言語モデルに、画像などを扱う力を組み合わせたモデルです。マルチモーダル大規模言語モデルと呼ばれます。基本の考え方は、次のようなものです。

まず、画像を扱う部分が、画像を特徴のならびに変換します。次に、その画像の特徴を言語モデルが理解できる形に橋渡しします。そして、言語モデルが、言葉と画像の両方を手がかりに答えを作ります。前に学んだ CLIP のように画像と言葉を結びつける考え方が、この橋渡しの土台にあります。

このしくみによって、画像を見ながら言葉で問答する、資料の図表を読み取って説明する、といったことが自然にできるようになりました。視覚と言語をつなぐモデルは、視覚言語モデルとも呼ばれ、LLaVA などの研究が知られます。

2026年時点の代表例としては、画像や音声も扱える GPT-4o や Gemini などが挙げられます。さらに、音声や動画までまとめて扱う統合的なモデルへと広がっています。これらの製品名や版はすぐに移り変わるため、最新の状況はその時点の一次資料で確かめる必要があります。

理解度の確認