L'équipe Qwen d'Alibaba Cloud présente Qwen3-Coder-Next, un modèle de langage à poids ouverts spécialisé pour les agents de codage qui n'active que 3 milliards de ses 80 milliards de paramètres lors de l'inférence. Le modèle exploite la synthèse à grande échelle de tâches de codage vérifiables couplées à des environnements exécutables pour apprendre directement à partir du retour d'information via un entraînement intermédiaire et l'apprentissage par renforcement.

  • Il atteint des performances compétitives sur des benchmarks comme SWE-Bench Pro par rapport à son nombre de paramètres actifs, surpassant les modèles avec une puissance de calcul nettement supérieure.
  • Le pipeline d'entraînement comprend la pré-entraînement continu, le fine-tuning supervisé et la distillation de modèles experts spécialisés dans une architecture unifiée.
  • La synthèse des tâches implique l'extraction de pull requests GitHub et l'extension de jeux de données existants pour générer environ 800K tâches d'ingénierie logicielle vérifiables sur neuf langages de programmation.

Cette approche démontre que la mise à l'échelle de l'entraînement agent est un moteur clé pour faire avancer la capacité des agents de codage réels, offrant un déploiement efficace pour les environnements de production où la latence et le coût sont des contraintes critiques.