Os autores apresentam a Incerteza Especulativa (SU), uma técnica que recupera um sinal de falha preditiva para agentes LLM de caixa preta analisando apenas seus tokens de saída, sem exigir acesso a logits, pesos ou ativações. Ao inverter a decodificação especulativa, um pequeno modelo rascunho de pesos abertos pontua a trajetória do agente em uma única passagem direta para extrair características sensíveis à fase e calibrá-las contra um objetivo verificável.

  • A SU gera uma pontuação de probabilidade de falha que pode ser consumida por políticas downstream, como roteamento ou intervenção humana.
  • O método foi implementado como um gateamento de veto pré-execução para agentes Qwen3-Coder-480B e Claude 3.5 Sonnet.
  • Os resultados de implantação mostram uma redução na taxa de erro de execução em 6-8 pontos percentuais e no custo de tokens em 14-19%.
  • A abordagem se transfere para benchmarks fora da distribuição sem retreinamento e generaliza-se entre diferentes modelos de agentes.

Este método permite a detecção de erros confiantes antes da execução custosa, habilitando fluxos de trabalho de codificação agêntica mais eficientes e confiáveis.