저자들은 Speculative Uncertainty(SU)라는 기술을 제시합니다. 이 기술은 로짓, 가중치 또는 활성화에 대한 접근 없이 출력 토큰만 분석하여 블랙박스 LLM 에이전트의 예측 실패 신호를 복원합니다. 추측적 디코딩을 역전환하여 작은 오픈 가중치 초안 모델이 단 한 번의 순전파로 에이전트의 궤적을 점수화하여 위상 인식 특징을 추출하고 검증 가능한 목표와 대조하여 보정합니다.

  • SU는 라우팅이나 인간 개입과 같은 하류 정책에서 사용할 수 있는 실패 가능성 점수를 생성합니다.
  • 이 방법은 Qwen3-Coder-480B 및 Claude 3.5 Sonnet 에이전트에 대한 사전 실행 거부 게이트로 구현되었습니다.
  • 배포 결과 실행 오류율이 6~8%p 감소하고 토큰 비용이 14~19% 절감되었습니다.
  • 이 접근법은 재학습 없이 분포 밖 벤치마크에 적용 가능하며 다양한 에이전트 모델에 일반화됩니다.

이 방법은 비용이 많이 드는 실행 전에 확신 있는 오류를 감지하여 더 효율적이고 신뢰할 수 있는 에이전트 코딩 워크플로우를 가능하게 합니다.