本文へ移動

てきたいてきさんぷる

敵対的サンプル(AdversarialExamples)

Adversarial Examples

人間には判別できないわずかなノイズを加えることで、機械学習モデルの予測を誤らせるために作成された入力データです。

詳しい説明

敵対的サンプルとは、機械学習モデルに対して意図的に作成された、誤判定を引き起こすための入力データです。元のデータに人間には認識できないわずかなノイズ(摂動)を加えるだけで、AIが全く異なる誤った結果を出力するように設計されます。

この手法は、ニューラルネットワークなどの深層学習モデルが持つ構造的な脆弱性を突くものです。例えば、自動運転車のカメラに貼られた特定のシールを「一時停止」の標識を「制限速度」と認識させるといった悪用が考えられます。AIの推論プロセスを逆手に取り、わずかな入力の変化で出力を大きく変動させます。

試験では、AIの安全性(セキュリティ)の観点から問われます。敵対的サンプルを防ぐための防御策として、学習時に敵対的サンプルを混ぜて学習させる「敵対的学習」の重要性が強調されます。AIを開発・運用する上で、堅牢性を確保するための重要な概念として理解する必要があります。

試験で問われること

ITパスポート試験

  • AIに対する攻撃手法の一つであり、入力データを微細に加工して誤認させるものであることを理解する。
  • AIシステムの脆弱性として認識し、セキュリティ対策の重要性を把握する。
  • AIの信頼性を損なう悪意のあるデータという文脈で出題される。

基本情報技術者試験

  • 敵対的学習によってモデルの堅牢性を高めるアプローチを理解する。
  • 深層学習の構造的特徴(ノイズに弱い性質)と攻撃のメカニズムを結びつける。
  • AIのセキュリティリスクとして、回避攻撃(Evasion Attack)の一部であることを押さえる。