vLLM के माध्यम से FP8 में चलने वाली और 256K संदर्भ विंडो के साथ Qwen 3.8 27B मॉडल ने Aider बेंचमार्क पर 72.9 स्कोर हासिल किया।
- यह स्कोर Gemini 2.5 Pro (72.9) के बराबर है और Claude Opus 4 (72.0) तथा DeepSeek R1 (71.4) से अधिक है।
- लेखक ने नोट किया है कि हालांकि बेंचमार्क पुराना हो सकता है, लेकिन MacBook पर मॉडल का प्रदर्शन एक साल पुराने state-of-the-art मॉडल्स के समान है।
- टेस्टिंग हार्नेस में सुधारों के कारण वास्तविक प्रदर्शन को इन मॉडल्स से बेहतर बताया गया है।