本論文は、従来のペネトレーションテストがAI搭載システムには不十分であると主張する。なぜなら、攻撃者はインフラストラクチャを侵害することなく、プロンプト、データ、またはセンサー入力を通じて行動を変更できるからである。この実践は目的駆動型行動評価として再定義され、特定の脅威モデルの下で運用上の目標に違反する行動を引き起こすことをAI搭載ペネトレーションと定義する。

  • 著者らは、学習済みモデルが運用上の結果に実質的な影響を与えるシステムをAI搭載システムと定義する。
  • 攻撃経路には、プロンプトインジェクション、データポイズニング、センサー操作、およびエージェントのミスマッチが含まれる。
  • 目標の特定、行動のマッピング、影響面の分析、および目標違反の証拠の報告を行うテストワークフローが提案されている。
  • AI搭載セキュリティ運用センターアシスタントを用いた継続的な例示により、ペネトレーションがどのように行動的影響を通じて発生するかを示している。

このフレームワークは、インフラストラクチャの侵害だけでなく運用上の結果に焦点を当てることで、展開されたAIシステムにおける攻撃者の成功を評価するための技術的基盤を提供する。