敵対的攻撃

敵対的攻撃とは

敵対的攻撃は、学習を終えたモデルに入力するデータへ、人にはほとんど見分けられない小さな変化(摂動)を意図的に加え、モデルに誤った出力をさせる攻撃です。このように作られた入力を、敵対的事例(adversarial examples)と呼びます。

この現象を早い時期に報告した論文の1つとして、Szegedyらの Intriguing properties of neural networks(2014年、arXiv:1312.6199)がよく挙げられます。論文には次のように書かれています。

> We can cause the network to misclassify an image by applying a certain imperceptible perturbation, which is found by maximizing the network's prediction error.

参考訳(執筆者による): 知覚できない一定の摂動を加えることで、ネットワークに画像を誤分類させることができる。この摂動は、ネットワークの予測誤差を最大化することによって見つけられる。

この1文から、押さえておきたい点が2つ読み取れます。

• 摂動はimperceptible(知覚できない)と書かれており、人の目には元の画像とほとんど同じに見えます。
• 摂動はでたらめなノイズではなく、ネットワークの予測誤差を最大化するように探して見つけるものです。

続いて、Goodfellow、Shlens、Szegedyの Explaining and Harnessing Adversarial Examples(2015年、arXiv:1412.6572)は、敵対的事例を次のように説明しています。原文は1文ですが、このページでは表記の都合上、途中の区切りの記号を省いて2つに分けて引用します。

> Several machine learning models, including neural networks, consistently misclassify adversarial examples

> inputs formed by applying small but intentionally worst-case perturbations to examples from the dataset, such that the perturbed input results in the model outputting an incorrect answer with high confidence.

参考訳(執筆者による): ニューラルネットワークを含む複数の機械学習モデルは、敵対的事例(adversarial examples)を一貫して誤分類する。敵対的事例とは、データセットの事例に小さいが意図的な最悪ケースの摂動を加えることで作られた入力であり、その摂動された入力によってモデルが高い確信度で誤った答えを出力する。

この説明から、次の3点が読み取れます。

• 対象はニューラルネットワークだけではなく、ニューラルネットワークを含む複数の機械学習モデルです(Several machine learning models, including neural networks)。
• 加える摂動は小さいものの、モデルにとって最悪になるよう意図的に選ばれます(small but intentionally worst-case perturbations)。
• その結果、モデルは誤った答えを、しかも高い確信度で出力します(an incorrect answer with high confidence)。

まとめると、敵対的攻撃とは、知覚できないほど小さな摂動を入力に加えた敵対的事例をモデルに与え、誤分類させる攻撃です。見た目にはほぼ変わらない入力で、モデルが自信を持って間違えるという点が特徴です。

日本の公式文書における位置づけ

米国の国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(AI RMF 1.0)には、公式の日本語訳があります。その3.3 セキュリティとレジリエンスには、次の記述があります。

> 一般的なセキュリティ上の懸念は、敵対的な事例、データポイズニング、AIシステムのエンドポイントを介したモデル、学習データ、その他の知的財産の流出に関連しています

この記述から、次の点が確認できます。

• 敵対的な事例は、AIシステムの一般的なセキュリティ上の懸念の1つとして挙げられています。
• 同じ文の中で、データポイズニングや、モデル・学習データ・その他の知的財産の流出と並べて書かれています。
• 精度の問題としてだけでなく、セキュリティとレジリエンスの節で扱われています。

なお、この日本語訳では敵対的な事例という訳語が使われています。敵対的攻撃という語は、こうした敵対的事例を使ってモデルを誤らせる攻撃を指す語として理解するとよいでしょう。

推論時か学習時かという違い

敵対的攻撃と対になる語として、データ汚染があります。データ汚染とは、モデルの学習に使うデータそのものに不正なデータを紛れ込ませたり書き換えたりして、モデルの学習結果を歪める攻撃です。上で引用したNIST AI RMFの記述にあるデータポイズニングは、このデータ汚染を指す語です。

2つの攻撃は、どちらもモデルに誤った出力をさせる点では似ていますが、攻撃する段階と手を加える対象が異なります。

見分けるときは、攻撃がどの段階で行われるかに注目します。すでに学習を終えたモデルに、細工した入力を与えて誤らせるのが敵対的攻撃です。モデルを作る前の学習データに細工をして、学習の結果そのものを歪めるのがデータ汚染です。

AIとの関わり

Szegedyらの報告は画像の誤分類を例にしていますが、Goodfellowらは、ニューラルネットワークを含む複数の機械学習モデルが敵対的事例を誤分類すると述べています。その後も、画像認識に限らず、さまざまな種類のAIシステムで敵対的攻撃に関する報告がなされています。

AIシステムを社会で使う場面が広がると、見た目にはほとんど変わらない入力で出力が誤るという性質は、安全性やセキュリティの面で考慮すべき点になります。NIST AI RMFが敵対的な事例をセキュリティ上の懸念として挙げていることも、こうした考え方の表れといえます。どの程度の影響が出るかは、システムの用途や使われ方によって異なります。