В статье представлены результаты полиглотного бенчмарка aider для новых моделей Qwen3, подчеркивая, как настройки инференса и API-провайдеры влияют на производительность моделей с открытым исходным кодом. Сравниваются показатели успешности (pass rates) при использовании форматов редактирования «diff» и «whole» против различных конфигураций.

  • Модель Qwen3-235B-A22B, запущенная локально с VLLM, bfloat16 и настройками /no_think, достигла показателя успешности 65,3% в бенчмарке aider.
  • Та же модель, доступная через официальный API Alibaba, показала более низкий показатель успешности — 61,8%.
  • Результаты включают подробные метрики, такие как количество тестовых случаев, стоимость и выходные данные ошибок для каждой конфигурации.

Данные демонстрируют, что стабильные настройки инференса критически важны для моделей с открытым исходным кодом, чтобы соответствовать уровню проприетарных решений.