Масштабное эмпирическое исследование вводит ориентированную на процесс рамку для анализа возникновения, эволюции и восстановления при ошибках CLI-агентов для программирования, рассматривая их как временные процессы, а не конечные результаты.

  • Исследователи собрали 3843 траектории выполнения с семи передовых моделей в трех каркасах (OpenHands, MiniSWE, Terminus2) на Terminal-Bench.
  • После фильтрации 1794 полных и действительных траектории были вручную аннотированы, охватывая более 63000 шагов выполнения.
  • Анализ выявил 14 выводов относительно возникновения ошибок, корневых причин, восстановления и согласованности между системами.
  • Ошибки преимущественно обусловлены эпистемическими ошибками, обычно начинаются в первые несколько шагов выполнения и часто остаются скрытыми до тех пор, пока восстановление становится невозможным.

Авторы утверждают, что повышение надежности агентов для программирования требует более ранней проверки и вмешательства, а не только оценки конечного результата.