発展：マルチモーダルLLM（画像と言葉をつなぐ）

マルチモーダルと基盤モデルのレッスンの続きとして、画像や音声と言葉を一つのモデルで扱うマルチモーダルLLMを掘り下げます。画像と言葉を同じ空間に結びつける対照学習（CLIPの考え方）、画像を見る部品と言葉のモデルをつなぐしくみ、画像への質問応答や説明づけといった仕事、そして幻覚や苦手なことまでを実装のコードは扱わず、なぜそうつなぐのかに絞って説明します。製品名は時点を添えた例として挙げます。