データ汚染

データ汚染とは

データ汚染は、データポイズニングとも呼ばれ、AIシステムのセキュリティ上の懸念の1つです。

米国国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(AI RMF 1.0)の公式日本語訳では、3.3 セキュリティとレジリエンスの節で、次のように書かれています。

> 一般的なセキュリティ上の懸念は、敵対的な事例、データポイズニング、AIシステムのエンドポイントを介したモデル、学習データ、その他の知的財産の流出に関連しています

この文では、データポイズニングが敵対的な事例とは別の懸念として並べられています。NIST AI RMFのこの箇所はデータポイズニングの名前を挙げているだけで、仕組みまでは説明していません。

一般には、データ汚染は次のような攻撃として理解されています。機械学習のモデルは、与えられた学習データから規則性を学びます。攻撃者がその学習データに不正なデータを混ぜたり、正解のラベルを書き換えたりすると、モデルは歪んだ規則性を学んでしまいます。つまり、データ汚染はモデルそのものに直接手を加えるのではなく、学習データそのものを汚すことで、学習の結果を歪めようとする攻撃です。

OWASP Top 10における位置づけ

OWASPは、ソフトウェアのセキュリティに取り組む団体です。OWASPが公開している大規模言語モデル(LLM)アプリケーション向けのリスク一覧、OWASP Top 10 for LLM Applicationsの2025年版では、4番目の項目の名前が次のとおりです。

• LLM04:2025 Data and Model Poisoning

項目名のData and Model Poisoningは、データの汚染とモデルの汚染を意味します。LLMアプリケーションの主なリスクの1つとして、データ汚染とモデル汚染が1つの項目にまとめて挙げられていることが分かります。

なお、このページで確認できているのは、項目の名前とリストの中での順位だけです。この項目の中身の詳しい説明文は取得できていないため、OWASPがこの項目で具体的にどのような攻撃の手口や対策を説明しているかは、このページでは扱いません。

学習時か推論時かという違い(敵対的攻撃との対比)

データ汚染と並べて語られることの多い攻撃に、敵対的攻撃があります。敵対的攻撃とは、すでに学習を終えたモデルに対して、推論のときに渡す入力へ人には気づきにくい小さな変化(摂動)を加え、モデルに誤った分類をさせる攻撃です。NIST AI RMFの引用にある敵対的な事例は、こうした攻撃のために細工された入力を指す語として使われています。

2つの攻撃は、攻撃が起きる段階で整理できます。

データ汚染では、モデルが作られる前の段階で学習データが汚されるため、完成したモデルそのものに問題が入り込みます。敵対的攻撃では、モデルそのものは正しく学習されていても、推論時の入力の細工によって誤りが引き出されます。

何を汚すかという違い(モデル汚染との対比)

データ汚染は、モデル汚染とも対比されます。モデル汚染は、学習済みモデルの重みを書き換えたり、モデルが配布される供給経路(サプライチェーン)に不正なモデルを紛れ込ませたりして、モデルそのものを汚す攻撃です。

2つの違いは、何を汚すかにあります。データ汚染は学習データを汚し、その結果としてモデルの学習結果が歪みます。モデル汚染は、学習データを経由せず、モデルの重みや供給経路を直接汚します。OWASPの2025年版の項目名Data and Model Poisoningでは、この2つが1つの項目の名前にまとめて入っています。

AIとの関わり

機械学習のモデルは、学習データから規則性を学ぶ仕組みです。そのため、学習データが信頼できるかどうかは、モデルの振る舞いが信頼できるかどうかに大きく関わると考えられます。どこから集めたデータか、途中で書き換えられていないかを確かめることは、AIシステムの安全性を支える前提の1つになりうると考えられます。

G検定の学習では、データ汚染を学習時にデータを汚す攻撃として押さえ、推論時に入力を細工する敵対的攻撃や、モデルの重みや供給経路を汚すモデル汚染と区別して整理しておくとよいでしょう。