L'article présente les résultats du benchmark polyglotte d'aider pour les nouveaux modèles Qwen3, soulignant comment les paramètres d'inférence et les fournisseurs d'API impactent les performances des modèles open source. Il compare les taux de réussite en utilisant les formats d'édition "diff" et "whole" par rapport à diverses configurations.
- Qwen3-235B-A22B exécuté localement avec VLLM, bfloat16 et les paramètres /no_think a atteint un taux de réussite de 65,3 % sur le benchmark aider.
- Le même modèle accessible via l'API officielle d'Alibaba a donné un taux de réussite plus faible de 61,8 %.
- Les résultats incluent des métriques détaillées telles que le nombre de cas de test, le coût et les sorties d'erreur pour chaque configuration.
Les données illustrent que des paramètres d'inférence stables sont critiques pour que les modèles open source atteignent des niveaux de performance propriétaires.