एक तुलनात्मक विश्लेषण गणित, कोडिंग और तर्कशास्त्र बेंचमार्क्स पर क्लाउड 3.7 सॉनेट, क्लाउड 3.5 सॉनेट, ओपनएआई o3-mini, डीपसीक R1 और ग्रॉक 3 बीटा की क्षमताओं का मूल्यांकन करता है।
- GPQA Diamond पर, विस्तृत तर्क के साथ ग्रॉक 3 बीटा 84.6% तक पहुंचता है, जबकि क्लाउड 3.7 सॉनेट उसी मोड में 84.8% प्राप्त करता है।
- AIME गणित प्रतियोगिताओं में, ग्रॉक 3 बीटा 93.3% के साथ अग्रणी है, जबकि क्लाउड 3.7 सॉनेट का स्कोर 61.3% है लेकिन Math500 पर 96.2% के साथ उत्कृष्ट प्रदर्शन करता है।
- ओपनएआई o3-mini लागत-प्रभावीता पर ध्यान केंद्रित करते हुए, AIME (अधिकतम 83.3%) और GPQA Diamond (उच्च-कंप्यूट मोड में 78%) पर मजबूत प्रदर्शन दिखाता है।
- डीपसीक R1 AIME पर प्रतिस्पर्धी प्रदर्शन (79.8%) करता है लेकिन स्नातक स्तर के तर्कशास्त्र कार्यों पर भिन्नता दर्शाता है।
अध्ययन इन प्रमुख मॉडल के बीच लागत, संदर्भ विंडो आकार और विश्वसनीयता में व्यापार-बदलाव को उजागर करके उपयोगकर्ताओं को सूचित निर्णय लेने में मदद करने का लक्ष्य रखता है।