Los autores presentan la Incertidumbre Especulativa (SU), una técnica que recupera una señal de fallo predictivo para agentes LLM de caja negra analizando únicamente sus tokens de salida, sin requerir acceso a logits, pesos o activaciones. Al invertir la decodificación especulativa, un modelo borrador pequeño con pesos abiertos puntúa la trayectoria del agente en una sola pasada hacia adelante para extraer características sensibles a la fase y calibrarlas contra un objetivo verificable.

  • SU genera una puntuación de probabilidad de fallo que puede ser consumida por políticas posteriores como el enrutamiento o la intervención humana.
  • El método se implementó como un filtro de veto previo a la ejecución para los agentes Qwen3-Coder-480B y Claude 3.5 Sonnet.
  • Los resultados de despliegue muestran una reducción en la tasa de errores de ejecución de 6-8 puntos porcentuales y en el costo de tokens del 14-19%.
  • El enfoque se transfiere a benchmarks fuera de distribución sin reentrenamiento y se generaliza entre diferentes modelos de agentes.

Este método permite detectar errores con alta confianza antes de una ejecución costosa, habilitando flujos de trabajo de codificación agéntica más eficientes y confiables.