モデル窃取

モデル窃取とは

モデル窃取は、AIシステムのセキュリティ上の脅威の1つを指す語で、G検定のシラバス2024でも対象キーワードとして掲載されています。

米国国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(NIST AI RMF 1.0)は、セキュリティとレジリエンスを扱う節(3.3)で次のように述べています(公式日本語訳)。

> 不正アクセスや不正使用を防止する保護メカニズムによって機密性、完全性、可用性を維持できるAIシステムはセキュアであると言えるかもしれません。一般的なセキュリティ上の懸念は、敵対的な事例、データポイズニング、AIシステムのエンドポイントを介したモデル、学習データ、その他の知的財産の流出に関連しています

このようにNIST AI RMFは、AIシステムのエンドポイントを介してモデルが流出することを、一般的なセキュリティ上の懸念の1つとして挙げています。

一般には、モデル窃取の対象は、開発に多大なコストがかかったモデルのパラメータや、入力に対してどのような出力を返すかという挙動そのものだと理解されています。モデルのファイルが直接持ち出される場合のほか、外部に公開された推論APIへの問い合わせを繰り返すことで、元のモデルと実質的に同じ働きをするモデルが再現される場合も、モデル窃取として扱われることがあります。

エンドポイントとの関わり

エンドポイントとは、外部の利用者やシステムがAIシステムにアクセスするための窓口のことです。学習済みのモデルを推論APIとして公開し、入力を受け取って予測結果を返す仕組みがその代表例です。

NIST AI RMFは、流出の経路としてAIシステムのエンドポイントを明示しています。つまり、モデルを外部に公開して使ってもらうための窓口そのものが、モデルの流出に関わりうる場所として意識されているということです。

モデルを公開すれば便利に使ってもらえる一方で、その窓口を通じてモデルの中身や挙動が外に漏れるおそれも生まれます。NIST AI RMFが掲げる機密性・完全性・可用性を保つための保護メカニズムは、こうしたエンドポイントを含めて考える必要がある、と読むことができます。

何を盗むかという違い(データ窃取との対比)

モデル窃取と対になる語に、データ窃取があります。データ窃取とは、モデルの学習に使われた学習データそのものが、不正アクセスなどによって盗まれることを指します。NIST AI RMFの記述でも、エンドポイントを介して流出しうるものとして、モデルと並んで学習データが挙げられています。

2つの語の違いは、何を盗むかにあります。

どちらもAIシステムから価値あるものが流出するという点では共通していますが、モデル窃取はモデルそのものを、データ窃取は学習データを対象とする点で区別して整理できます。

AIとの関わり

AIモデルの開発には、多くの計算資源や大量のデータ、専門家の労力が投じられることがあります。そのため、完成したモデルは開発した組織にとって重要な資産になりえます。

NIST AI RMFがモデルや学習データと並べて、その他の知的財産の流出に触れていることからも分かるように、モデル窃取はセキュリティの問題であると同時に、知的財産の保護という観点からも問題になりうるものです。AIシステムを外部に公開して提供する場面では、利便性と流出への備えをあわせて考えることが求められる、と整理しておくとよいでしょう。