Une étude empirique à grande échelle introduit un cadre orienté processus pour analyser le déclenchement, l'évolution et la récupération des échecs dans les agents de codage CLI, les traitant comme des processus temporels plutôt que comme des résultats finaux.

  • Les chercheurs ont collecté 3 843 trajectoires d'exécution à partir de sept modèles de pointe sur trois squelettes (OpenHands, MiniSWE, Terminus2) sur Terminal-Bench.
  • Après filtrage, 1 794 trajectoires complètes et valides ont été annotées manuellement, couvrant plus de 63 000 étapes d'exécution.
  • L'analyse a permis de dégager 14 conclusions concernant la survenue des échecs, les causes racines, la récupération et la cohérence inter-systèmes.
  • Les échecs sont principalement dus à des erreurs épistémiques, commencent généralement dans les premières étapes d'exécution et restent souvent cachés jusqu'à ce que la récupération soit impossible.

Les auteurs soutiennent que l'amélioration de la fiabilité des agents de codage nécessite une validation et une intervention plus précoces plutôt que de se fier uniquement à l'évaluation du résultat final.