Studi menganalisis lintasan kegagalan agen koding CLI di tujuh model

Sebuah studi empiris skala besar memperkenalkan kerangka kerja berorientasi proses untuk menganalisis onset, evolusi, dan pemulihan kegagalan pada agen koding CLI, dengan menganggapnya sebagai proses temporal daripada hasil akhir.

• Para peneliti mengumpulkan 3.843 lintasan eksekusi dari tujuh model terdepan di tiga skafold (OpenHands, MiniSWE, Terminus2) pada Terminal-Bench.
• Setelah difilter, 1.794 lintasan lengkap dan valid dianotasi secara manual, mencakup lebih dari 63.000 langkah eksekusi.
• Analisis ini menghasilkan 14 temuan mengenai terjadinya kegagalan, akar penyebab, pemulihan, dan konsistensi lintas-sistem.
• Kegagalan terutama didorong oleh kesalahan epistemik, biasanya dimulai dalam beberapa langkah eksekusi pertama, dan sering kali tetap tersembunyi hingga pemulihan menjadi mustahil.

Para penulis berargumen bahwa meningkatkan keandalan agen koding memerlukan validasi dan intervensi yang lebih awal daripada hanya mengandalkan evaluasi hasil akhir.