モデル汚染

モデル汚染とは

モデル汚染は、機械学習モデルの重みや、学習済みモデルが利用者に届くまでの供給経路を汚す攻撃として理解されています。重みとは、学習によって値が決まるモデル内部の数値で、モデルの振る舞いを左右するものです。

近年は、ある組織が学習させたモデルを公開し、別の組織がそれを取得して追加で学習させたり、そのまま自社のシステムに組み込んだりする場面が増えています。こうした学習済みモデルの配布や再利用の流れは、サプライチェーンと呼ばれることがあります。この流れのどこかで、改ざんされたモデルや、悪意を持って作られた不正なモデルが混入すると、利用者は気づかないまま問題のあるモデルを使ってしまうおそれがある、というのが一般的な理解です。

OWASP Top 10における位置づけ

OWASPが公開している大規模言語モデル(LLM)アプリケーション向けのリスク一覧 OWASP Top 10 for LLM Applications の2025年版では、4番目の項目として LLM04:2025 Data and Model Poisoning が挙げられています。項目名を訳すと、データとモデルの汚染です。データだけでなくモデルも汚染の対象として同じ項目名に含まれていることが、項目名から読み取れます。

なお、このページが根拠にしているのは項目名と順位だけです。この項目の詳しい説明文は確認できていません。そのため、この項目の中でどのような攻撃の手口や対策が挙げられているかは、ここでは説明しません。

NIST AI RMFにおける関連する記述

米国国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(AI RMF 1.0)は、3.3 セキュリティとレジリエンスの中で、公式日本語訳で次のように述べています。

> 一般的なセキュリティ上の懸念は、敵対的な事例、データポイズニング、AIシステムのエンドポイントを介したモデル、学習データ、その他の知的財産の流出に関連しています。

この記述は、AIシステムのエンドポイント(外部からシステムを利用するための接続先)を通じてモデルが流出することへの懸念に触れています。モデルというコンポーネントそのものが攻撃の対象になりうることを示す記述として読むことができます。

ただし、ここで述べられているのはモデルの流出、つまりモデルが外部へ持ち出される懸念です。モデル汚染そのものを定義した記述ではありません。モデル汚染との共通点は、どちらもモデルを攻撃の対象としている点にとどまります。また同じ文にはデータポイズニングも並んでおり、学習データを狙う攻撃も一般的なセキュリティ上の懸念の一つとして挙げられています。

何を汚すかという違い(データ汚染との対比)

モデル汚染と対になる語に、データ汚染があります。データ汚染は、学習データそのものを汚染する攻撃です。たとえば、学習に使われるデータに意図的に細工したデータを紛れ込ませ、そのデータから学習したモデルの振る舞いを歪めることなどが考えられます。上で見たNIST AI RMFの記述にあるデータポイズニングは、英語の data poisoning を片仮名で書いた語で、この学習データを狙う攻撃を指します。

両者の違いは、何を汚すかにあります。

学習データを汚すのであればデータ汚染、モデルの重みや供給経路を汚すのであればモデル汚染、と整理できます。OWASPの2025年版では、この2つが Data and Model Poisoning という一つの項目名の中に並べられています。

AIとの関わり

学習済みモデルを外部から取得して使う場面が増えるほど、自分で集めた学習データをいくら丁寧に管理していても、取得したモデルに問題があればその影響を受けるおそれがあります。そのため、使おうとしているモデルがどこから来たのかという出どころや、途中で書き換えられていないかという完全性を確認することが、重要になると考えられます。