Model Qwen 3.8 27B, berjalan dalam FP8 dengan jendela konteks 256K melalui vLLM, mencapai skor 72.9 pada benchmark Aider.

  • Skor ini menyamai Gemini 2.5 Pro (72.9) dan melampaui Claude Opus 4 (72.0) serta DeepSeek R1 (71.4).
  • Penulis mencatat bahwa meskipun benchmark tersebut mungkin sudah kedaluwarsa, kinerja model di MacBook sebanding dengan model state-of-the-art dari lebih dari setahun yang lalu.
  • Kinerja aktual digambarkan melampaui model-model ini karena peningkatan pada kerangka pengujian.