arxiv Moonshot AI (arXiv) · il y a 755 j

L'équipe Qwen publie la série Qwen2 avec des modèles denses et MoE de 72B

Traduit de English → Français

L'équipe Qwen a publié le rapport technique de Qwen2, présentant une nouvelle série de grands modèles de langage allant de 0,5 à 72 milliards de paramètres, incluant à la fois les architectures denses et Mixture-of-Experts (MoE).

Le modèle de base phare Qwen2-72B obtient des scores de 84,2 sur MMLU, 89,5 sur GSM8K et 64,6 sur HumanEval.
La variante Qwen2-72B-Instruct ajustée par instructions atteint 9,1 sur MT-Bench et 35,7 sur LiveCodeBench.
Les modèles ont été entraînés sur plus de 7 billions de tokens et prennent en charge environ 30 langues.
Les poids sont ouvertement disponibles sur Hugging Face et ModelScope pour une utilisation par la communauté.

Le lancement vise à fournir des modèles fondamentaux haute performance capables de rivaliser avec les systèmes propriétaires, tout en restant accessibles pour la recherche et le déploiement.

Importance 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Benchmarks

Benchmark	Modèle	Score
GPQA Diamond	Qwen2-72B	37.9%
LiveCodeBench	Qwen2-72B-Instruct	35.7%
GSM8K	Qwen2-72B	89.5%
MMLU	Qwen2-72B	84.2%
BIG-Bench Hard	Qwen2-72B	82.4%
HumanEval	Qwen2-72B	64.6%

Lire l'original

Qwen3 introduit un mode de réflexion unifié et élargit le support multilingue à 119 langues

Le rapport technique Qwen3 présente la dernière version de la famille de modèles Qwen, avec des architectures denses et Mixture-of-Expert (MoE) ayant des échelles de paramètres allant de 0,6 à 235 milliards. Une innovation majeure est l'intégration du mode de réflexion pour le raisonnement complexe et du mode sans réflexion pour les réponses rapides dans un cadre unifié, éliminant ainsi la nécessité de basculer entre différents modèles.

arxiv Moonshot AI (arXiv) · il y a 452 j · 2 vues

Qwen3 introduit un mode de réflexion unifié et la prise en charge de 119 langues

Le rapport technique Qwen3 présente une nouvelle série de grands modèles de langage à poids ouverts allant de 0,6 à 235 milliards de paramètres, avec des architectures denses et à Mélange d'Experts. Une innovation majeure est l'intégration du « mode de réflexion » pour le raisonnement complexe et du « mode sans réflexion » pour les réponses rapides dans un seul cadre, permettant une commutation dynamique sans alternance de modèle.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 introduit des modèles denses et MoE avec 18T de jetons de pré-entraînement

Le rapport technique Qwen2.5 détaille la publication d'une série complète de grands modèles de langage (LLM) comprenant à la fois des variantes denses à poids ouverts et des modèles propriétaires à mélange d'experts (MoE). La mise à jour augmente considérablement les données de pré-entraînement, passant de 7 billions à 18 billions de jetons, et utilise plus d'un million d'échantillons pour l'entraînement postérieur via le réglage fin supervisé et l'apprentissage par renforcement.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 étend le pré-entraînement à 18 billions de tokens et utilise un RL multi-étapes

Alibaba a publié le rapport technique de Qwen2.5, présentant une série complète de grands modèles de langage avec des améliorations significatives tant au stade du pré-entraînement qu'à celui du post-entraînement. La mise à jour étend les ensembles de données de pré-entraînement de haute qualité de 7 billions à 18 billions de tokens et met en œuvre un affinage supervisé complexe avec plus d'un million d'échantillons, ainsi qu'un apprentissage par renforcement multi-étapes.

arxiv Moonshot AI (arXiv) · il y a 755 j

Le rapport technique Qwen2 présente des modèles denses et MoE jusqu'à 72 milliards de paramètres

Le rapport technique Qwen2 présente la série Qwen2, une nouvelle suite de grands modèles linguistiques et multimodaux fondamentaux et ajustés pour les instructions, allant de 0,5 à 72 milliards de paramètres. Cette version inclut à la fois des architectures denses et un modèle Mixture-of-Experts, le modèle phare Qwen2-72B démontrant des performances compétitives par rapport aux modèles propriétaires sur divers benchmarks.