Les auteurs présentent une grille d'évaluation des préjudices graduée par action qui note la trajectoire d'appel d'outil d'un agent sur une échelle ordinale à sept niveaux (L0 à L6) basée sur la réversibilité, le franchissement de périmètre et l'expansion des privilèges. Cette approche comble la limite des taux de réussite d'attaque binaires dans les benchmarks de red-teaming agents en fournissant des informations détaillées sur la gravité.
L'échelle est calculée à l'aide à la fois d'un oracle déterministe et d'un panel de trois juges basés sur des modèles de langage de pointe. Sur quatre modèles victimes et deux défenses dans la suite de postes de travail AgentDojo, la notation a révélé des cas cachés par les métriques binaires, tels qu'une défense permettant des fuites inter-périmètres malgré un taux de réussite d'attaque nul. Le panel de juges a atteint un accord ordinal élevé avec l'oracle (alpha de Krippendorff = 0,91) mais a présenté des angles morts systématiques, comme l'incapacité à reconnaître les chaînes d'escalade.
Contrairement aux travaux antérieurs proposant des taxonomies de préjudices ou de la simulation, cette contribution fournit un instrument de gravité réutilisable et ancré dans la traçabilité, appliqué à des journaux de red-teaming réels, avec tout le code et les prompts publiés.