본 논문은 전통적인 침투 테스트가 AI 지원 시스템에 부적합하다고 주장합니다. 공격자가 인프라를 침해하지 않고도 프롬프트, 데이터 또는 센서 입력을 통해 행동을 변경할 수 있기 때문입니다. 이 관행은 목적 기반 행동 평가로 재정의되며, 특정 위협 모델 하에서 운영 목표를 위반하는 행동을 유도하는 것을 AI 지원 침투로 정의합니다.
- 저자들은 학습된 모델이 운영 결과에 실질적인 영향을 미치는 시스템을 AI 지원 시스템으로 정의합니다.
- 적대적 경로에는 프롬프트 인젝션, 데이터 독성화, 센서 조작 및 에이전트 불일치가 포함됩니다.
- 목표를 식별하고, 행동을 매핑하고, 영향 표면을 분석하며, 목표 위반 증거를 보고하는 테스트 워크플로우가 제안되었습니다.
- AI 지원 보안 운영 센터 어시스턴트를 사용한 사례 연구를 통해 침투가 어떻게 행동 영향을 통해 발생하는지 보여줍니다.
이 프레임워크는 인프라 침해뿐만 아니라 운영 결과에 초점을 맞춤으로써 배포된 AI 시스템에서 적대적 성공을 평가하기 위한 기술적 기반을 제공합니다.