Модель Qwen 3.8 27B, работающая в формате FP8 с контекстным окном 256K через vLLM, набрала 72.9 баллов в бенчмарке Aider.

  • Этот результат совпадает с Gemini 2.5 Pro (72.9) и превышает показатели Claude Opus 4 (72.0) и DeepSeek R1 (71.4).
  • Автор отмечает, что хотя бенчмарк может быть устаревшим, производительность модели на MacBook сопоставима с моделями уровня state-of-the-art более года назад.
  • Фактическая производительность описывается как превосходящая эти модели благодаря улучшениям в тестовом фреймворке.