Авторы представляют Speculative Uncertainty (SU), технику, которая восстанавливает сигнал предсказательного сбоя для black-box LLM-агентов путём анализа только их выходных токенов, без необходимости доступа к логитам, весам или активациям. Инвертируя спекулятивное декодирование, небольшая открытая черновик-модель оценивает траекторию агента за один прямой проход для извлечения фазово-осознанных признаков и калибровки их по проверяемой цели.

  • SU генерирует оценку вероятности сбоя, которую могут использовать downstream-политики, такие как маршрутизация или вмешательство человека.
  • Метод был реализован как пре-исполнительный вето-гейт для агентов Qwen3-Coder-480B и Claude 3.5 Sonnet.
  • Результаты развёртывания показывают снижение частоты ошибок выполнения на 6-8 процентных пунктов и стоимости токенов на 14-19%.
  • Подход переносится на out-of-distribution бенчмарки без дообучения и обобщается для различных моделей агентов.

Этот метод позволяет обнаруживать уверенные ошибки до дорогостоящего выполнения, обеспечивая более эффективные и надёжные agentic coding рабочие процессы.