著者らは、回復可能性、スコープの越境、特権の拡大に基づき、エージェントのツール呼び出し軌跡を7段階の順序尺度(L0からL6)で評価する行動段階別の危害基準を導入した。このアプローチは、エージェント型レッドチームングベンチマークにおける二値のアタックスUCCESS率の限界に対処し、詳細な重大度情報を提供する。

このスケールは、決定論的なオラクルと3人の最先端言語モデルによる審査員パネルの両方を使用して計算される。AgentDojoワークスペーススイート上の4つの被害者モデルと2つの防御策において、この評価は、攻撃成功率がゼロにもかかわらずスコープ越えの漏洩を許可する防御策など、二値指標では隠れていたケースを明らかにした。審査員パネルはオラクルと高い順序一致を示したが(Krippendorff's alpha = 0.91)、エスカレーションチェーンの認識に失敗するなど、系統的な盲点を示した。

危害分類やシミュレーションを提供する先行研究とは異なり、この貢献は実際のレッドチームログに適用される再利用可能でトレース根拠のある重大度測定手段を提供し、すべてのコードとプロンプトが公開されている。