Le rapport technique Qwen3 présente une nouvelle série de grands modèles de langage à poids ouverts allant de 0,6 à 235 milliards de paramètres, avec des architectures denses et à Mélange d'Experts. Une innovation majeure est l'intégration du « mode de réflexion » pour le raisonnement complexe et du « mode sans réflexion » pour les réponses rapides dans un seul cadre, permettant une commutation dynamique sans alternance de modèle.
- Le modèle phare Qwen3-235B-A22B utilise 22 milliards de paramètres activés par token pour équilibrer performance et efficacité d'inférence.
- La prise en charge multilingue s'étend de 29 à 119 langues et dialectes, entraînés sur 36 billions de tokens incluant des données synthétiques générées par les précédents modèles Qwen.
- La série implémente un mécanisme de « budget de réflexion » pour l'allocation adaptative des ressources computationnelles pendant l'inférence.
- L'entraînement postérieur utilise un renforcement multi-étapes et une distillation du fort au faible pour aligner les modèles sur les préférences humaines.
Les auteurs considèrent ces avancées importantes car elles permettent des performances compétitives face aux modèles propriétaires tout en offrant aux utilisateurs un contrôle fin sur l'effort de raisonnement et la latence.