Un estudio empírico a gran escala introduce un marco orientado al proceso para analizar el inicio, la evolución y la recuperación de fallos en agentes de codificación CLI, tratándolos como procesos temporales en lugar de resultados finales.

  • Los investigadores recopilaron 3.843 trayectorias de ejecución de siete modelos de vanguardia en tres andamios (OpenHands, MiniSWE, Terminus2) en Terminal-Bench.
  • Tras el filtrado, 1.794 trayectorias completas y válidas fueron anotadas manualmente, cubriendo más de 63.000 pasos de ejecución.
  • El análisis derivó 14 hallazgos sobre la ocurrencia de fallos, causas raíz, recuperación y consistencia entre sistemas.
  • Los fallos son predominantemente impulsados por errores epistémicos, típicamente comienzan dentro de los primeros pasos de ejecución y a menudo permanecen ocultos hasta que la recuperación es imposible.

Los autores argumentan que mejorar la fiabilidad de los agentes de codificación requiere una validación e intervención más tempranas en lugar de depender únicamente de la evaluación del resultado final.