Cet article soutient que les tests de pénétration traditionnels sont insuffisants pour les systèmes alimentés par l'IA car les adversaires peuvent modifier le comportement via des prompts, des données ou des entrées de capteurs sans compromettre l'infrastructure. Il reformule la pratique en évaluation comportementale orientée objectif, définissant la pénétration alimentée par l'IA comme induisant un comportement qui viole les objectifs opérationnels sous un modèle de menace spécifique.
- Les auteurs définissent un système alimenté par l'IA comme un système où des modèles appris influencent matériellement les résultats opérationnels.
- Les voies adverses incluent l'injection de prompts, l'empoisonnement des données, la manipulation des capteurs et le désalignement agentique.
- Un flux de travail de test est proposé pour identifier les objectifs, cartographier le comportement, analyser les surfaces d'influence et rapporter des preuves de violation des objectifs.
- Un exemple continu utilisant un assistant de centre d'opérations de sécurité alimenté par l'IA illustre comment la pénétration se produit par l'influence comportementale.
Ce cadre fournit une base technique pour évaluer le succès adversaire dans les systèmes d'IA déployés en se concentrant sur les résultats opérationnels plutôt que sur la simple compromission de l'infrastructure.