Um estudo empírico em larga escala introduz uma estrutura orientada ao processo para analisar o início, a evolução e a recuperação de falhas em agentes de codificação CLI, tratando-os como processos temporais em vez de resultados finais.
- Os pesquisadores coletaram 3.843 trajetórias de execução de sete modelos de ponta em três andaimes (OpenHands, MiniSWE, Terminus2) no Terminal-Bench.
- Após a filtragem, 1.794 trajetórias completas e válidas foram anotadas manualmente, cobrindo mais de 63.000 etapas de execução.
- A análise derivou 14 descobertas sobre a ocorrência de falhas, causas raiz, recuperação e consistência entre sistemas.
- As falhas são predominantemente impulsionadas por erros epistêmicos, tipicamente começam dentro das primeiras etapas de execução e frequentemente permanecem ocultas até que a recuperação seja impossível.
Os autores argumentam que melhorar a confiabilidade dos agentes de codificação requer validação e intervenção mais precoces, em vez de depender exclusivamente da avaliação do resultado final.