लेख नए Qwen3 मॉडलों के लिए aider बहुभाषी बेंचमार्क परिणाम प्रस्तुत करता है, यह उजागर करते हुए कि इनफरेंस सेटिंग्स और API प्रदाता ओपन सोर्स मॉडल के प्रदर्शन को कैसे प्रभावित करते हैं। यह विभिन्न कॉन्फ़िगरेशन के खिलाफ "diff" और "whole" संपादन प्रारूपों का उपयोग करके पास दर की तुलना करता है।
- VLLM, bfloat16, और /no_think सेटिंग्स के साथ स्थानीय रूप से चलाए गए Qwen3-235B-A22B ने aider बेंचमार्क पर 65.3% पास दर हासिल की।
- आधिकारिक Alibaba API के माध्यम से पहुंचे उसी मॉडल ने 61.8% की कम पास दर दी।
- परिणामों में प्रत्येक कॉन्फ़िगरेशन के लिए परीक्षण मामलों की संख्या, लागत और त्रुटि आउटपुट जैसे विस्तृत मेट्रिक्स शामिल हैं।
डेटा दर्शाता है कि ओपन सोर्स मॉडल को प्रोप्राइटरी प्रदर्शन स्तरों के बराबर होने के लिए स्थिर इनफरेंस सेटिंग्स महत्वपूर्ण हैं।