Adversarial Attack (Adversarial Examples)

敵対的攻撃とは、ニューラルネットワークに対して意図的に誤った判断をさせるための入力データを作成する手法です。人間が見ても元のデータと区別がつかないわずかなノイズを加えるだけで、AIの推論結果を強制的に書き換えることができます。

この攻撃で作られたデータを敵対的サンプルと呼びます。モデルの学習プロセスや推論プロセスにおける脆弱性を突くものであり、画像認識システムなどで深刻なセキュリティリスクとなります。モデルが特定の入力に対して異常な反応を示す性質を悪用しています。

G検定では、AIモデルの安全性や信頼性を損なう脅威として理解しておく必要があります。攻撃を防ぐための対策として、敵対的サンプルを訓練データに混ぜて学習させる敵対的訓練などが有効である点も合わせて覚えておくと安心です。