本文认为,传统的渗透测试对于启用AI的系统是不够的,因为对手可以通过提示词、数据或传感器输入来改变行为,而无需破坏基础设施。本文将该实践重构为以目标为导向的行为评估,将AI渗透定义为在特定威胁模型下诱导违反运营目标的行为。

  • 作者将启用AI的系统定义为学习到的模型实质性影响运营结果的系统。
  • 对抗路径包括提示词注入、数据投毒、传感器操纵和代理不对齐。
  • 提出了一种测试工作流程,用于识别目标、映射行为、分析影响面并报告违反目标的证据。
  • 使用一个启用AI的安全运营中心助手作为持续示例,说明了渗透如何通过行为影响发生。

该框架通过关注运营结果而非仅仅是基础设施的破坏,为评估已部署AI系统中的对抗性成功提供了技术基础。