एन्थ्रोपिक ने क्लॉड 3 मॉडल कार्ड में एक एडेन्डम प्रकाशित किया है, जो क्लॉड 3.5 सॉनेट का विवरण देता है, एक नया मॉडल जो गति और लागत में क्लॉड 3 ओपस को पछाड़ता है, जबकि कोडिंग और दृश्य प्रसंस्करण में बढ़ी हुई क्षमताएं प्रदान करता है।
- क्लॉड 3.5 सॉनेट ने स्नातक स्तर की विज्ञान (GPQA), सामान्य तर्कशक्ति (MMLU) और कोडिंग पारंगतता (HumanEval) पर नए प्रदर्शन मानक स्थापित किए हैं।
- यह मैथविसटा, चार्टक्यूए और डॉकवीक्यूए सहित पांच विज़न बेंचमार्क्स पर अग्रणी परिणाम प्राप्त करता है।
- एक आंतरिक एजेंटिक कोडिंग मूल्यांकन में, मॉडल 64% समस्याओं को हल करता है, जबकि क्लॉड 3 ओपस के लिए यह संख्या 38% है।
- मानव प्रतिक्रिया मूल्यांकन दिखाते हैं कि कोडिंग, दस्तावेज़ और रचनात्मक लेखन जैसे मुख्य क्षमताओं में क्लॉड 3 ओपस की तुलना में महत्वपूर्ण जीत दरें प्राप्त हुई हैं।
- एडेन्डम ने विल्डचैट और एक्सएसटेस्ट डेटासेट पर बढ़ी हुई अस्वीकृति दरों और 200k टोकन तक की सुई इन ए हेस्टेस्ट टेस्ट में लगभग पूर्ण स्मरण की भी रिपोर्ट की है।