El modelo Qwen 3.8 27B, ejecutado en FP8 con una ventana de contexto de 256K a través de vLLM, logró una puntuación de 72.9 en la benchmark de Aider.

  • La puntuación iguala a Gemini 2.5 Pro (72.9) y supera a Claude Opus 4 (72.0) y DeepSeek R1 (71.4).
  • El autor señala que, aunque la benchmark puede estar desactualizada, el rendimiento del modelo en un MacBook es comparable a los modelos state-of-the-art de hace más de un año.
  • El rendimiento real se describe como superior a estos modelos debido a las mejoras en el marco de pruebas.