arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 introduit des modèles denses et MoE avec 18T de jetons de pré-entraînement

Traduit de English → Français

Le rapport technique Qwen2.5 détaille la publication d'une série complète de grands modèles de langage (LLM) comprenant à la fois des variantes denses à poids ouverts et des modèles propriétaires à mélange d'experts (MoE). La mise à jour augmente considérablement les données de pré-entraînement, passant de 7 billions à 18 billions de jetons, et utilise plus d'un million d'échantillons pour l'entraînement postérieur via le réglage fin supervisé et l'apprentissage par renforcement.

Les modèles denses à poids ouverts sont disponibles en tailles de 0,5B, 1,5B, 3B, 7B, 14B, 32B et 72B paramètres.
Les modèles MoE propriétaires Qwen2.5-Turbo et Qwen2.5-Plus sont disponibles via Alibaba Cloud Model Studio.
Le modèle phare Qwen2.5-72B-Instruct égale les performances de Llama-3-405B-Instruct tout en étant cinq fois plus petit.
La prise en charge de la longueur du contexte passe de 2K à 8K jetons, Qwen2.5-Turbo prenant en charge jusqu'à 1 million de jetons.

Ces améliorations visent à fournir des solutions rentables pour divers cas d'utilisation tout en maintenant des performances de premier ordre sur les benchmarks de raisonnement, de codage et de mathématiques.

Importance 3/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 452 j

Qwen3 introduit un mode de réflexion unifié et élargit le support multilingue à 119 langues

Le rapport technique Qwen3 présente la dernière version de la famille de modèles Qwen, avec des architectures denses et Mixture-of-Expert (MoE) ayant des échelles de paramètres allant de 0,6 à 235 milliards. Une innovation majeure est l'intégration du mode de réflexion pour le raisonnement complexe et du mode sans réflexion pour les réponses rapides dans un cadre unifié, éliminant ainsi la nécessité de basculer entre différents modèles.

arxiv Moonshot AI (arXiv) · il y a 452 j · 2 vues

Qwen3 introduit un mode de réflexion unifié et la prise en charge de 119 langues

Le rapport technique Qwen3 présente une nouvelle série de grands modèles de langage à poids ouverts allant de 0,6 à 235 milliards de paramètres, avec des architectures denses et à Mélange d'Experts. Une innovation majeure est l'intégration du « mode de réflexion » pour le raisonnement complexe et du « mode sans réflexion » pour les réponses rapides dans un seul cadre, permettant une commutation dynamique sans alternance de modèle.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 étend le pré-entraînement à 18 billions de tokens et utilise un RL multi-étapes

Alibaba a publié le rapport technique de Qwen2.5, présentant une série complète de grands modèles de langage avec des améliorations significatives tant au stade du pré-entraînement qu'à celui du post-entraînement. La mise à jour étend les ensembles de données de pré-entraînement de haute qualité de 7 billions à 18 billions de tokens et met en œuvre un affinage supervisé complexe avec plus d'un million d'échantillons, ainsi qu'un apprentissage par renforcement multi-étapes.

arxiv Moonshot AI (arXiv) · il y a 755 j

L'équipe Qwen publie la série Qwen2 avec des modèles denses et MoE de 72B

L'équipe Qwen a publié le rapport technique de Qwen2, présentant une nouvelle série de grands modèles de langage allant de 0,5 à 72 milliards de paramètres, incluant à la fois les architectures denses et Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · il y a 755 j

Le rapport technique Qwen2 présente des modèles denses et MoE jusqu'à 72 milliards de paramètres

Le rapport technique Qwen2 présente la série Qwen2, une nouvelle suite de grands modèles linguistiques et multimodaux fondamentaux et ajustés pour les instructions, allant de 0,5 à 72 milliards de paramètres. Cette version inclut à la fois des architectures denses et un modèle Mixture-of-Experts, le modèle phare Qwen2-72B démontrant des performances compétitives par rapport aux modèles propriétaires sur divers benchmarks.