データ窃取

データ窃取とは

データ窃取は、AIシステムの学習データが、そのシステムの外へ不正に持ち出されることを指す語です。G検定のシラバス2024では、対象キーワードとして掲載されています。

この語を考える手がかりになる一次資料として、米国国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(NIST AI RMF 1.0)があります。公式日本語訳の3.3 セキュリティとレジリエンスは、セキュリティ上の一般的な懸念として次の3つを並べています。

• 敵対的な事例
• データポイズニング
• AIシステムのエンドポイントを介した、モデル、学習データ、その他の知的財産の流出

データ窃取に当たるのは、このうち3つめに含まれる学習データの流出です。エンドポイントとは、外部の利用者やプログラムがAIシステムに問い合わせるときの窓口を指します。つまりNIST AI RMFは、システムへの侵入だけでなく、外部に開かれた窓口を通じても学習データが漏れうることを、懸念として示しています。

同じ節は、セキュリティの前提も述べています。不正アクセスや不正使用を防止する保護メカニズムによって、機密性、完全性、可用性を維持できるAIシステムはセキュアであると言えるかもしれない、という書き方です。3つの性質の意味は次のとおりです。

• 機密性: 許可されていない者に情報が渡らないこと
• 完全性: 情報が不正に書き換えられないこと
• 可用性: 必要なときにシステムを使えること

学習データが盗まれることは、このうち機密性が損なわれることに当たります。なお、NIST AI RMFは断定を避けて、セキュアであると言えるかもしれない、という控えめな言い方をしています。

不正アクセスとの関わり

NIST AI RMFの3.3は、セキュアなAIシステムの条件として、不正アクセスや不正使用を防止する保護メカニズムを挙げています。同じ節の中で、エンドポイントを介した学習データの流出が懸念として挙げられています。

この2つを並べて読むと、データ窃取を防ぐための基本は、不正アクセスや不正使用を防ぐ保護メカニズムによって機密性を保つことだ、と整理できます。NIST AI RMFは、データ窃取のための具体的な対策技術を一つずつ挙げてはいません。この節から読み取れるのは、不正アクセスと不正使用を防ぐこと、そして機密性、完全性、可用性を維持すること、という大きな枠組みです。

不正使用という語が入っている点にも意味があります。正規の窓口を通じた問い合わせであっても、本来の目的から外れた使い方をされれば、学習データの流出につながりうるからです。エンドポイントを介した流出が懸念に挙がっているのは、この点と対応しています。

何を盗むかという違い(モデル窃取との対比)

データ窃取と対になる語に、モデル窃取があります。モデル窃取とは、学習済みモデルのパラメータや挙動そのものが盗まれることです。モデルそのものを持ち出される場合もあれば、推論結果を大量に観察するなどして、元のモデルとよく似た働きをするモデルを再現される場合もあります。

2つの語の違いは、何が盗まれるかにあります。

• データ窃取: 学習に使われたデータそのもの
• モデル窃取: 学習の結果できあがったモデルのパラメータや挙動

NIST AI RMFの3.3は、エンドポイントを介して流出するものとして、モデル、学習データ、その他の知的財産を一つの文の中で並べています。どちらも外部に開かれた窓口を通じて起こりうるという点では共通していますが、流出するものは別々に挙げられています。学習にはデータが使われ、その結果としてモデルができます。この2つのどちらが盗まれるかによって、2つの語は区別されます。

AIとの関わり

AIシステムの学習データには、利用者の個人情報や、企業の営業秘密が含まれることがあります。そのため、データ窃取は情報セキュリティの問題であるだけでなく、プライバシーや知的財産の観点からも問題になりうると考えられます。

AIシステムは、APIなどのエンドポイントを通じて外部に公開されることが多く、学習データが外部から見えない場所に置かれていても、窓口を通じた流出の懸念が残ります。NIST AI RMFがエンドポイントを介した学習データの流出を一般的な懸念として挙げていることは、AIを開発し提供する側が、学習データの機密性を守る責任を意識する必要があることを示していると言えそうです。