एन्थ्रोपिक का अपग्रेडेड क्लॉड 3.5 सोनेट मॉडल SWE-bench Verified बेंचमार्क पर 49% तक पहुँचा, जो पिछले सर्वश्रेष्ठ स्कोर 45% से ऊपर है। लेख इस परिणाम को प्राप्त करने के लिए मॉडल के चारों ओर बनाए गए "एजेंट" सिस्टम का विस्तार से वर्णन करता है।
- SWE-bench Verified, पायथन रिपॉजिटरीज़ में गिटहब मुद्दों को हल करने की एआई एजेंट की क्षमता का मूल्यांकन करने के लिए उपयोग किए जाने वाले 500 हल होने योग्य सॉफ़्टवेयर इंजीनियरिंग कार्यों का एक उपसमुच्चय है।
- एजेंट डिज़ाइन दर्शन न्यूनतम सॉफ़्टवेयर के साथ भाषा मॉडल को नियंत्रण देने पर जोर देता है, केवल एक बश टूल और एक एडिट टूल का उपयोग करते हुए।
- सिस्टम तब तक प्रतिक्रियाओं को नमूना करता है जब तक कि मॉडल यह निर्णय नहीं ले लेता कि वह समाप्त हो गया है या 200k संदर्भ लंबाई से अधिक हो जाता है।
- गलतफहमी को रोकने के लिए विस्तृत टूल विवरण तैयार किए गए थे, जिससे मॉडल अपने स्वयं के कार्यप्रवाह का चयन कर सके, न कि हार्डकोडेड पैटर्न का पालन करे।
यह दृष्टिकोण डेवलपर्स को जटिल कोडिंग कार्यों के लिए क्लॉड 3.5 सोनेट के उपयोग को अनुकूलित करने में मदद करता है, यह दिखाकर कि न्यूनतम सॉफ़्टवेयर कैसे प्रभावी ढंग से मॉडल की क्षमताओं का लाभ उठा सकता है।