शोधकर्ताओं ने ALTK-Evolve सिस्टम के भीतर "सुसंगतता दिशानिर्देश" पेश किए हैं, जो एक नया तंत्र है जिसे मानक औसत सटीकता मापदंड अक्सर छिपा देते हैं, LLM एजेंट प्रदर्शन में परिवर्तनशीलता को संबोधित करने के लिए डिज़ाइन किया गया है। फ्लिप होने वाले निर्णय बिंदुओं की पहचान करके और उन्हें स्थिर करके, यह दृष्टिकोण समग्र क्षमता को त्यागे बिना कार्य सफलता की सुसंगतता में महत्वपूर्ण सुधार करता है।
- कंसिस्टेंसी एनालाइजर k=5 पूर्णताओं के साथ एक रिकॉर्ड किए गए ट्राजेक्टरी को पुनः नमूना लेकर "फ्लिप-प्रोन" चरणों का पता लगाता है, जिसके लिए ग्राउंड ट्रुथ या एंड-टू-एंड पुनः रन की आवश्यकता नहीं होती।
- GPT-4.1 का उपयोग करने वाले ReAct एजेंट के साथ AppWorld test_normal पर, कंसिस्टेंसी गाइडलाइनें कंसिस्टेंसी गैप (Mean@5 माइनस Pass^5) को 24.4 प्रतिशत बिंदुओं से घटाकर 12.0 प्रतिशत बिंदु कर दिया।
- समग्र Pass^5 53.0% से बढ़कर 69.0% हो गया, जबकि Mean@5 में थोड़ी वृद्धि हुई और यह 77.4% से बढ़कर 81.0% हो गया, जिससे औसत सटीकता बनी रही।
- विधि समान कार्यों पर सामान्यीकृत होती है, Pass^5 को 13.0 प्रतिशत बिंदु तक बढ़ाती है, और gpt-oss-120b जैसे कमजोर मॉडलों पर स्थानांतरणीय लाभ दिखाती है।
इस कार्य से यह उजागर होता है कि सुसंगतता क्षमता के लिए एक अलग अक्ष है, और उत्पादन वातावरण में एजेंट विश्वसनीयता का बेहतर आकलन करने के लिए डेवलपर्स को Mean@k के साथ Pass^k की रिपोर्ट करने का आग्रह करता है।