Claude 3.7 Sonnet ने पॉल गॉथियर के Aider Polyglot बेंचमार्क में प्रथम स्थान हासिल किया, जो कोड क्षमताओं पर केंद्रित एक स्वतंत्र मूल्यांकन है।
- मॉडल ने 32,000 थिंकिंग टोकन की बढ़ी हुई सीमा के साथ चलने पर प्रथम स्थान हासिल किया।
- इसने पूरे बेंचमार्क को चलाने में $36.83 खर्च किए, जो पिछले लीडर से काफी अधिक है लेकिन तीसरे स्थान वाले o1-high से कम है।
- LM Arena लीडरबोर्ड पर Claude 3.7 Sonnet के लिए कोई परिणाम अभी तक उपलब्ध नहीं हैं।