एक बड़े पैमाने पर प्रायोगिक अध्ययन ने एक प्रक्रिया-केंद्रित फ्रेमवर्क पेश किया है जो CLI कोडिंग एजेंट में विफलताओं के आरंभ, विकास और पुनर्प्राप्ति का विश्लेषण करने के लिए है, उन्हें अंतिम परिणामों के बजाय कालिक प्रक्रियाओं के रूप में मानते हुए।
- शोधकर्ताओं ने Terminal-Bench पर तीन स्केफोल्ड (OpenHands, MiniSWE, Terminus2) पर सात फ्रंटियर मॉडलों से 3,843 निष्पादन ट्रैजेक्ट्री एकत्र की।
- फ़िल्टरिंग के बाद, 1,794 पूर्ण और वैध ट्रैजेक्ट्री को मैन्युअल रूप से एनोटेट किया गया, जिसमें 63,000 से अधिक निष्पादन चरण शामिल हैं।
- विश्लेषण ने विफलता की घटना, मूल कारणों, पुनर्प्राप्ति और क्रॉस-सिस्टम सुसंगतता के संबंध में 14 निष्कर्ष निकाले।
- विफलताएं प्रमुख रूप से ज्ञानवादी त्रुटियों द्वारा संचालित होती हैं, आमतौर पर पहले कुछ निष्पादन चरणों के भीतर शुरू होती हैं, और अक्सर तब तक छिपी रहती हैं जब तक कि पुनर्प्राप्ति असंभव हो जाती है।
लेखकों का तर्क है कि कोडिंग-एजेंट की विश्वसनीयता में सुधार के लिए अंतिम-परिणाम मूल्यांकन पर निर्भर रहने के बजाय पहले सत्यापन और हस्तक्षेप की आवश्यकता है।