マルチモーダルと基盤モデル：画像と言葉をつなぐ

画像や言葉など複数の種類のデータをまとめて扱うマルチモーダルと、幅広い課題に使える基盤モデルを学びます。基礎層では、異なる種類のデータを結びつける、という考え方をつかみます。深掘り層では、基盤モデル・マルチタスク学習、CLIP による画像と言葉の対応づけ、DALL-E・Flamingo・Unified-IO、Image Captioning・Text-To-Image・Visual Question Answering、そして Zero-shot を説明できるようになります。発展では、いまのマルチモーダル大規模言語モデルのしくみを扱います。