저자들은 복원 가능성, 범위 교차, 권한 확장을 기반으로 에이전트의 도구 호출 궤적을 7단계 순서 척도(L0에서 L6)로 평가하는 행동 단계별 해악 기준을 도입했습니다. 이 접근 방식은 에이전트 레드팀 벤치마크의 이진 공격 성공률의 한계를 해결하여 상세한 중대성 정보를 제공합니다.
이 척도는 결정론적 오라클과 3명의 최첨단 언어 모델 심사위원 패널을 사용하여 계산됩니다. AgentDojo 워크스페이스 스위트의 4개 피해 모델과 2개의 방어책에 걸쳐 이 평가는 공격 성공률이 제로임에도 불구하고 범위 간 누출을 허용하는 방어책 등 이진 지표로는 숨겨졌던 사례를 드러냈습니다. 심사위원 패널은 오라클과 높은 순서 일치도를 보였지만(Krippendorff's alpha = 0.91), 에스컬레이션 체인을 인식하지 못하는 등의 체계적인 사각지대를 보였습니다.
해악 분류나 시뮬레이션을 제공하는 기존 연구와 달리, 이 공헌은 실제 레드팀 로그에 적용 가능한 재사용 가능하고 추적 기반의 중대성 측정 도구를 제공하며, 모든 코드와 프롬프트가 공개되었습니다.