Este artigo argumenta que o teste de penetração tradicional é insuficiente para sistemas habilitados com IA, pois adversários podem alterar o comportamento por meio de prompts, dados ou entradas de sensores sem comprometer a infraestrutura. O trabalho reencaminha a prática como uma avaliação comportamental orientada a objetivos, definindo a penetração com IA como induzir um comportamento que viole os objetivos operacionais sob um modelo de ameaça específico.
- Os autores definem um sistema habilitado com IA como aquele em que modelos aprendidos influenciam materialmente os resultados operacionais.
- As vias adversárias incluem injeção de prompts, envenenamento de dados, manipulação de sensores e desalinhamento agêntico.
- É proposto um fluxo de trabalho de teste para identificar objetivos, mapear o comportamento, analisar superfícies de influência e relatar evidências de violação de objetivos.
- Um exemplo contínuo usando um assistente de centro de operações de segurança habilitado com IA ilustra como a penetração ocorre por meio da influência comportamental.
Este arcabouço fornece uma base técnica para avaliar o sucesso adversário em sistemas de IA implantados, focando nos resultados operacionais em vez de apenas no comprometimento da infraestrutura.