発展：マルチモーダルLLM（画像と言葉をつなぐ）

ねらい

このレッスンは、マルチモーダルと基盤モデルのレッスンの続きにあたる発展（はってん）の記事です。いまの大規模言語モデル（だいきぼげんごモデル、Large Language Models）の多くは、文章だけでなく、画像も受け取って答えられます。写真を見せて「これは何」と聞けば、説明が返ってきます。こうした、複数の種類の入力を一つのモデルで扱うものをマルチモーダルLLM（マルチモーダル・エルエルエム）と呼びます。その中身を機構のレベルまで見ます。

この記事は、ある程度の知識のある人に向けた深掘りです。対象レッスンで、CLIP や基盤モデル、画像への質問応答といった言葉に触れていること、そして Transformer と大規模言語モデルの土台をつかんでいることを前提にします。実装のコードは扱いません。なぜ、別々の種類の情報を一つのモデルでつなげられるのか、という考え方に絞ります。

1. 画像と言葉を同じ空間に：対照学習と CLIP

画像と言葉をつなぐ土台にあるのが、両者を同じ意味の空間に置く、という考え方です。対象レッスンで学んだ CLIP（クリップ）が、その代表です。ここでは、そのしくみをもう少しくわしく見ます。

CLIP は、大量の「画像と、その説明の文」の組を使って学びます。ねらいは、対になる画像と文を同じ空間の中で近くに、対でない画像と文を遠くに、置くことです。学習では、たくさんの画像と文を持ってきて、正しい組み合わせどうしは引き寄せ、まちがった組み合わせは引き離す、という調整をくり返します。犬の写真と「犬」という文は近くへ、犬の写真と「自動車」という文は遠くへ、という具合です。

この、正しい組は近く、まちがった組は遠くへ、という学び方を対照学習（たいしょうがくしゅう、contrastive learning）と呼びます。誤差関数のレッスンで触れた、似たものは近く、異なるものは遠くする損失の考え方が、ここで効いています。

対照学習を終えると、画像も文も、同じ空間の中の位置として表せるようになります。すると、画像と文の近さを位置の近さで測れます。ある写真に、いくつかの言葉の候補を近さで比べれば、どの言葉がいちばん合うかを選べます。これが、例を1つも学び直さずに、新しい種類を言い当てる、対象レッスンで学んだゼロショットの土台になります。

理解の確認

CLIP は、画像と説明文の組を使い、正しい組は近く、まちがった組は遠くへ置く対照学習で学びます。その結果、画像と言葉が同じ空間に乗り、近さで結びつけられます。例を学び直さずに新しい種類を言い当てるゼロショットの土台になります。

2. 見る部品と言葉のモデルをつなぐ

CLIP は、画像と言葉を近さで結びつけました。しかし、写真を見せて自由に文章で答えさせるには、もう一歩要ります。画像を見る部品と、文章を作る言語モデルを直接つなぐしくみです。

つなぎ方の考え方は、こうです。まず、画像を見る部品が、写真から特徴のかたまりを取り出します。ただし、このかたまりは、言語モデルがそのまま読める形ではありません。そこで、間に小さな変換の部品を置きます。この変換の部品が、画像の特徴を言語モデルが読める形、つまり言葉のトークンと同じように扱えるかたまりへと橋渡しします。

こうすると、言語モデルから見れば、画像は「言葉のように差し込まれた、いくつかのかたまり」に見えます。文章のトークンの列の中に、画像から来たかたまりが混ざっている、という状態です。言語モデルは、Transformer の自己注意で、文章のトークンと画像から来たかたまりを区別なく関係づけられます。「この写真について答えて」という文と、写真から来たかたまりを同じ土俵で見て、答えの文章を作る。これが、写真を見て言葉で答えるしくみの骨組みです。

多くのマルチモーダルLLMは、すでに強い言語モデルを土台にして、そこへ画像を見る部品をこの変換の橋を通してつなぐ形をとります。言葉の力はそのまま生かし、そこに目をつける、という作りです。

理解の確認

写真を見て言葉で答えるには、画像を見る部品が取り出した特徴を小さな変換の部品で、言語モデルが読めるかたまり（言葉のトークンのように扱える形）へ橋渡しします。言語モデルは自己注意で、文章のトークンと画像から来たかたまりを区別なく関係づけ、答えを作ります。強い言語モデルに目をつける作りが多く使われます。

3. マルチモーダルLLMがこなす仕事

画像と言葉が同じ土俵に乗ると、いくつもの仕事が、一つのモデルでこなせます。対象レッスンで名前の出た仕事をここで整理します。

1つは、画像への説明づけ（Image Captioning）です。写真を見せると、その内容を説明する文章を作ります。「公園で犬がボールを追いかけている」のように、写っているものと、その様子を言葉にします。

もう1つは、画像への質問応答（Visual Question Answering）です。写真と、それについての質問を受け取り、答えます。「この写真に、人は何人いますか」と聞けば、画像を見て数えて答えます。説明づけが、こちらから聞かずとも説明するのに対し、質問応答は、聞かれたことに答えます。

さらに、文章から画像を作り出す仕事や、逆に画像をもとに文章を作る仕事など、種類をまたいだ変換も、同じ枠組みで扱えます。要点は、画像と言葉が同じ土俵に乗ったことで、これらの仕事を別々のモデルを作らずに、一つのモデルでこなせるようになった、ということです。基盤モデルの考え方が、ここでも生きています。

理解の確認

マルチモーダルLLMは、画像の内容を説明する画像への説明づけ、画像についての質問に答える画像への質問応答などを一つのモデルでこなします。画像と言葉が同じ土俵に乗ったことで、種類をまたいだ仕事を別々のモデルを作らずに扱えます。

4. 苦手なことと、幻覚

マルチモーダルLLMは強力ですが、万能ではありません。苦手なことと、注意すべき点を挙げておきます。

まず、細かく正確に見ることは、なお苦手です。写真の中の小さな文字を正確に読む、物の数を厳密に数える、細かい位置関係を正しく言う、といったことは、まちがえることがあります。ざっくり内容をつかむのは得意でも、精密な読み取りには、ばらつきがあります。

次に、言葉のモデルと同じく、幻覚が起きます。写真に写っていないものをあたかも写っているかのように説明することがあります。「もっともらしい説明」を作る力が、実際に写っているかどうかとは別に働くためです。写真に無い犬を文脈から犬がいそうだと補って書いてしまう、といったことです。

だから、マルチモーダルLLMの答えも、そのまま鵜呑みにはできません。とくに、正確さが要る場面、たとえば数や文字や位置が大事な場面では、答えを確かめることが要ります。得意なこと（内容の大づかみ）と、苦手なこと（精密な読み取り）を見分けて使う、という姿勢が大切です。

5. 発展：手法は背骨、製品は時点つきの例

マルチモーダルの領域も、代表となる製品の入れ替わりが速い分野です。2026年の時点では、GPT-4o（ジーピーティー・フォーオー）や Gemini（ジェミニ）系など、画像も言葉も扱えるモデルが広く使われていますが、これらは時点の例です。名前は移り変わります。

移り変わらないのは、手法の背骨です。画像と言葉を対照学習で同じ空間に乗せること。画像を見る部品を変換の橋を通して言語モデルにつなぐこと。自己注意で、種類をまたいだかたまりを区別なく関係づけること。これらの考え方は、製品が入れ替わっても残ります。新しいマルチモーダルのモデルに出会ったら、どの種類の入力をどうやって同じ土俵に乗せているのか、と見ると、筋道を追えます。

なお、この記事では画像と言葉を中心に見ましたが、同じ考え方は、音声や動画など、ほかの種類にも広がっています。別々の種類の情報を同じ土俵に乗せて一つのモデルで扱う。この向きは、今後さらに進むと見られています。

理解度の確認