arxiv Moonshot AI (arXiv) · il y a 452 j

Qwen3 introduit un mode de réflexion unifié et élargit le support multilingue à 119 langues

Traduit de English → Français

Le rapport technique Qwen3 présente la dernière version de la famille de modèles Qwen, avec des architectures denses et Mixture-of-Expert (MoE) ayant des échelles de paramètres allant de 0,6 à 235 milliards. Une innovation majeure est l'intégration du mode de réflexion pour le raisonnement complexe et du mode sans réflexion pour les réponses rapides dans un cadre unifié, éliminant ainsi la nécessité de basculer entre différents modèles.

Qwen3 introduit un mécanisme de budget de réflexion qui permet aux utilisateurs d'allouer adaptativement les ressources informatiques pendant l'inférence pour équilibrer latence et performance.
La série de modèles atteint des résultats de pointe sur divers benchmarks, y compris la génération de code, le raisonnement mathématique et les tâches d'agent.
Le support multilingue passe de 29 à 119 langues et dialectes par rapport à son prédécesseur Qwen2.5.
Tous les modèles Qwen3 sont accessibles publiquement sous la licence Apache 2.0 pour faciliter la reproductibilité et la recherche communautaire.

Cette approche unifiée permet une commutation dynamique de mode en fonction des requêtes des utilisateurs, tandis que l'expansion du support linguistique améliore l'accessibilité mondiale grâce à une meilleure compréhension interlinguale.

Importance 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 452 j · 2 vues

Qwen3 introduit un mode de réflexion unifié et la prise en charge de 119 langues

Le rapport technique Qwen3 présente une nouvelle série de grands modèles de langage à poids ouverts allant de 0,6 à 235 milliards de paramètres, avec des architectures denses et à Mélange d'Experts. Une innovation majeure est l'intégration du « mode de réflexion » pour le raisonnement complexe et du « mode sans réflexion » pour les réponses rapides dans un seul cadre, permettant une commutation dynamique sans alternance de modèle.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 introduit des modèles denses et MoE avec 18T de jetons de pré-entraînement

Le rapport technique Qwen2.5 détaille la publication d'une série complète de grands modèles de langage (LLM) comprenant à la fois des variantes denses à poids ouverts et des modèles propriétaires à mélange d'experts (MoE). La mise à jour augmente considérablement les données de pré-entraînement, passant de 7 billions à 18 billions de jetons, et utilise plus d'un million d'échantillons pour l'entraînement postérieur via le réglage fin supervisé et l'apprentissage par renforcement.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 étend le pré-entraînement à 18 billions de tokens et utilise un RL multi-étapes

Alibaba a publié le rapport technique de Qwen2.5, présentant une série complète de grands modèles de langage avec des améliorations significatives tant au stade du pré-entraînement qu'à celui du post-entraînement. La mise à jour étend les ensembles de données de pré-entraînement de haute qualité de 7 billions à 18 billions de tokens et met en œuvre un affinage supervisé complexe avec plus d'un million d'échantillons, ainsi qu'un apprentissage par renforcement multi-étapes.

arxiv Moonshot AI (arXiv) · il y a 755 j

L'équipe Qwen publie la série Qwen2 avec des modèles denses et MoE de 72B

L'équipe Qwen a publié le rapport technique de Qwen2, présentant une nouvelle série de grands modèles de langage allant de 0,5 à 72 milliards de paramètres, incluant à la fois les architectures denses et Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · il y a 755 j

Le rapport technique Qwen2 présente des modèles denses et MoE jusqu'à 72 milliards de paramètres

Le rapport technique Qwen2 présente la série Qwen2, une nouvelle suite de grands modèles linguistiques et multimodaux fondamentaux et ajustés pour les instructions, allant de 0,5 à 72 milliards de paramètres. Cette version inclut à la fois des architectures denses et un modèle Mixture-of-Experts, le modèle phare Qwen2-72B démontrant des performances compétitives par rapport aux modèles propriétaires sur divers benchmarks.