El Índice de Desperdicio de Agentes ha calificado 341.054 trayectorias de agentes procedentes de 11 conjuntos de datos públicos para identificar ineficiencias como bucles, reintentos ciegos, salidas de herramientas desmesuradas y ejecuciones abandonadas. El análisis revela que los comportamientos de bucle y reintento son prevalentes en modelos más débiles como los agentes Llama, pero raros en Claude 3.7 Sonnet y Qwen3-Coder-480B.

  • La salida desmesurada de herramientas varía significativamente según el andamio, con OpenHands y SWE-agent que transportan observaciones de más de 20k caracteres en más de la mitad de las ejecuciones.
  • El quinto más largo de ejecuciones por conteo de pasos consume el 40% del gasto estimado mientras se resuelve a un ritmo menor que el quinto más corto.
  • El proyecto proporciona una tubería y detectores para reconstruir el Índice desde el hub, con tablas disponibles en línea para la verificación comunitaria.

Los autores proporcionan mecanismos de corrección para los editores de conjuntos de datos y buscan mejorar la transparencia en el rendimiento de los agentes de codificación.