Авторы вводят рубрику вреда с градацией действий, которая оценивает траекторию вызова инструментов агента по семиуровневой порядковой шкале (L0–L6) на основе обратимости, пересечения границ областей и расширения привилегий. Этот подход устраняет ограничение бинарных показателей успешности атак в бенчмарках агентного красного тестирования за счёт предоставления детальной информации о тяжести.
Шкала вычисляется с использованием как детерминированного оракула, так и панели из трёх судей на основе передовых языковых моделей. На четырёх моделях-жертвах и двух защитах в рабочем пространстве AgentDojo градация выявила случаи, скрытые бинарными метриками, например, защиту, допускающую утечки между областями при нулевой успешности атак. Панель судей достигла высокого порядкового согласия с оракулом (альфа Криппендорфа = 0,91), но продемонстрировала систематические слепые зоны, такие как неспособность распознавать цепочки эскалации.
В отличие от предыдущих работ, предлагающих таксономии вреда или симуляцию, данный вклад предоставляет повторно используемый инструмент тяжести, основанный на реальных данных и применённый к реальным журналам красного тестирования, при этом весь код и промпты опубликованы.