يقدم المقال نتائج المعيار متعدد اللغات لـ aider للنماذج الجديدة من Qwen3، مسلطًا الضوء على كيفية تأثير إعدادات الاستدلال ومزودي واجهة برمجة التطبيقات على أداء النماذج مفتوحة المصدر. يقارن معدلات النجاح باستخدام كل من تنسيقي التعديل "diff" و "whole" ضد تكوينات مختلفة.
- حقق Qwen3-235B-A22B الذي يعمل محليًا مع VLLM و bfloat16 وإعدادات /no_think معدل نجاح بنسبة 65.3٪ في معيار aider.
- أدى الوصول إلى نفس النموذج عبر واجهة برمجة التطبيقات الرسمية لشركة Alibaba إلى معدل نجاح أقل وهو 61.8٪.
- تتضمن النتائج مقاييس مفصلة مثل عدد حالات الاختبار والتكلفة ومخرجات الأخطاء لكل تكوين.
توضح البيانات أن إعدادات الاستدلال المستقرة أمر حاسم للنماذج مفتوحة المصدر لمساواة مستويات الأداء الخاصة (proprietary).