Le modèle Qwen 3.8 27B, fonctionnant en FP8 avec une fenêtre de contexte de 256K via vLLM, a obtenu un score de 72.9 sur le benchmark Aider.

  • Le score égale Gemini 2.5 Pro (72.9) et dépasse Claude Opus 4 (72.0) et DeepSeek R1 (71.4).
  • L'auteur note que bien que le benchmark puisse être obsolète, les performances du modèle sur un MacBook sont comparables aux modèles state-of-the-art d'il y a plus d'un an.
  • Les performances réelles sont décrites comme supérieures à ces modèles grâce aux améliorations du framework de test.