本文へ移動

でーたおせん

データ汚染

学習データに悪意ある情報を混ぜ、モデルの判断を意図的に操作する攻撃手法です。特定の入力で誤動作するバックドアを仕込むことが可能です。

詳しい説明

データ汚染とは、AIモデルの学習データに悪意あるデータを意図的に混入させることで、モデルの予測結果や判断基準を攻撃者が操作しようとする行為を指します。機械学習モデルは学習データからパターンを抽出するため、訓練データ自体が操作されるとモデルの振る舞いを変えられてしまいます。

具体的な攻撃手法として、例えば画像認識モデルにおいて、特定の画像に目に見えないノイズを加えて、特定のラベルに誤分類するように学習させるケースがあります。これにより、モデルを特定の攻撃者の意図通りに動かすバックドアを仕込むことが可能になり、セキュリティ上の重大な脅威となります。

G検定では、AIに対する攻撃手法の一種として分類されます。モデルが正常に動作しているように見えても、裏で不正な判断を誘発する点がこの攻撃の恐ろしさです。信頼できるデータソースの確保や、学習データの検証プロセスの重要性が、この文脈で強く問われます。

試験で問われること

G検定

  • 学習データに悪意あるデータを混ぜてモデルを操作する攻撃であることを理解する
  • バックドアを仕込む手法の一つであると認識する
  • データソースの信頼性確保が対策として重要であることを問う