作者引入了一种基于动作分级的危害评估标准,该标准根据可逆性、范围跨越和权限扩展,在七级有序量表(L0 至 L6)上对智能体的工具调用轨迹进行评分。这种方法通过提供详细的严重程度信息,解决了代理红队测试基准中二元攻击成功率指标的局限性。

该量表的计算同时使用了确定性预言机和由三个前沿语言模型裁判组成的评审团。在 AgentDojo 工作区套件上的四个受害模型和两种防御机制中,分级方法揭示了被二元指标所掩盖的案例,例如一种允许跨范围泄漏但攻击成功率为零的防御。裁判组与预言机达成了高度的一致性(Krippendorff's alpha = 0.91),但也表现出系统性的盲点,例如未能识别升级链。

与之前提供危害分类或模拟的工作不同,这一贡献提供了一个可重用、基于真实日志追踪的严重程度工具,应用于实际的红队测试日志,并且所有代码和提示词均已公开。