モデル汚染

学習データに悪意のあるデータを混入させ、モデルの振る舞いを意図的に操作するセキュリティ攻撃の一種です。特定の入力に対してモデルを誤った判断に導くよう誘導します。

インターネット上の公開データを使って学習する場合、攻撃者が意図的に改ざんしたデータを紛れ込ませることで攻撃が成立します。防ぐためには、学習データの厳格な管理と検証が必要です。

G検定では、AIに対するセキュリティリスクとして問われます。モデルの推論を狂わせる攻撃全般を指す敵対的攻撃の一部として、その手法と対策を区別して理解しておく必要があります。