L'équipe Qwen d'Alibaba a publié en juillet 2025 Qwen3-Coder-480B-A35B-Instruct, un modèle Mixture-of-Experts de 480 milliards de paramètres qui n'active que 35 milliards de paramètres par inférence. Il atteint des performances de codage comparables à Claude Sonnet 4 et GPT-4 tout en étant entièrement open-source sous licence Apache 2.0.
- Le modèle utilise 160 réseaux d'experts avec 62 couches Transformer, permettant la résolution autonome de problèmes multi-étapes incluant le débogage et la navigation dans la documentation.
- Entraîné sur 7,5 billions de tokens en utilisant l'apprentissage par renforcement basé sur l'exécution et à long terme horizon sur 20 000 environnements parallèles.
- Dispose d'une fenêtre de contexte native de 256 000 tokens extensible à 1 million de tokens via YaRN.
- A atteint un taux de réussite de 55,40 % sur SWE-Bench et prend en charge 358 langages de programmation.
La publication open-source permet une utilisation commerciale illimitée et l'hébergement autonome, offrant aux équipes d'ingénierie une alternative aux coûts des API propriétaires.