Os autores introduzem uma rubrica de dano graduada por ação que pontua a trajetória de chamadas de ferramenta de um agente em uma escala ordinal de sete níveis (L0 a L6) com base na reversibilidade, no cruzamento de escopo e na expansão de privilégios. Esta abordagem aborda a limitação das taxas de sucesso binárias de ataques em benchmarks de red-teaming agêntico ao fornecer informações detalhadas sobre a severidade.
A escala é computada usando tanto um oráculo determinístico quanto um painel de três juízes baseados em modelos de linguagem de fronteira. Em quatro modelos vítimas e duas defesas no conjunto de espaços de trabalho AgentDojo, a graduação expôs casos ocultos por métricas binárias, como uma defesa que permite vazamentos entre escopos apesar de zero sucesso de ataque. O painel de juízes alcançou alto acordo ordinal com o oráculo (alfa de Krippendorff = 0,91) mas exibiu pontos cegos sistemáticos, como falhar em reconhecer cadeias de escalada.
Diferente de trabalhos anteriores que oferecem taxonomias de dano ou simulação, esta contribuição fornece um instrumento de severidade reutilizável e baseado em rastros reais aplicado a logs reais de red-teaming, com todo o código e prompts liberados.