マルチモーダル

定義

マルチモーダルとは、テキスト、画像、音声、動画といった異なる種類の情報を、1つのAIモデルで統合して同時に処理する技術形態です。情報の表現形式や入力形態のそれぞれをモダリティと呼びます。

人間は相手の話を聞くとき、言葉の意味だけでなく、相手の表情や声の調子も同時に知覚して総合的に意図を理解します。従来の機械学習モデルは画像だけ、あるいはテキストだけというように1つのモダリティしか扱えませんでした。マルチモーダル技術は、複数のモダリティを同時に処理することで、単一の情報源だけでは捉えきれない細かな文脈や意味を認識します。

内訳

異なる種類の情報を統合して扱うために、モデルはそれぞれのモダリティから抽出したデータを共通の特徴空間へ写像します。この手法を取り入れた代表的なモデルがCLIPです。CLIPは画像エンコーダとテキストエンコーダを使い、画像と説明文の特徴ベクトルを同じ多次元空間に配置します。モデルは意味が合致するペアの距離を近づけ、意味が異なるペアの距離を遠ざける対照学習を行うことで、画像とテキストの意味的な対応づけを実現します。

マルチモーダル技術の代表的な応用形態には次のものがあります。

• 画像を入力してその内容を説明する文章を出力する画像キャプション生成
• 指示文を入力して新しい画像を出力するテキスト条件付き画像生成
• 画像と質問文を入力して答えの文章を出力する視覚的質問応答
• 画像や音声とテキストを同時に入力して対話を行うマルチモーダル大規模言語モデル

実務の開発現場では、モダリティごとのデータ量の不均衡が大きな課題になります。インターネット上に豊富に存在するテキストデータに比べて、高品質な画像とテキストの対比データは収集が難しいため、モデルの判断がデータ量の多いモダリティに引きずられやすくなります。また、片方の入力情報にノイズが含まれると、もう片方の正しい情報による判断まで損なわれる脆弱性があるため、入力データの品質管理が極めて重要になります。

紛らわしい語との違い

マルチモーダルと関連する概念として、転移学習や基盤モデルとの区別を明確にする必要があります。

マルチモーダルと転移学習は、どちらも大規模な学習済みモデルで頻出する語ですが指す対象が異なります。マルチモーダルは扱う情報の種類が複数であることを指すのに対し、転移学習はある課題で得た知識を別の課題へ流用する学習手法を指します。

基盤モデルとの関係についても整理が不可欠です。基盤モデルは膨大なデータで事前学習され多様な用途に適用できるモデル自体を指し、マルチモーダルであることはそのモデルが持ちうる性質の一つです。基盤モデルのすべてがマルチモーダルであるわけではなく、言語のみを扱うモデルも基盤モデルに含まれます。