arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 étend le pré-entraînement à 18 billions de tokens et utilise un RL multi-étapes

Traduit de English → Français

Alibaba a publié le rapport technique de Qwen2.5, présentant une série complète de grands modèles de langage avec des améliorations significatives tant au stade du pré-entraînement qu'à celui du post-entraînement. La mise à jour étend les ensembles de données de pré-entraînement de haute qualité de 7 billions à 18 billions de tokens et met en œuvre un affinage supervisé complexe avec plus d'un million d'échantillons, ainsi qu'un apprentissage par renforcement multi-étapes.

Les offres à poids ouverts incluent des modèles de base et des modèles ajustés pour les instructions, avec des versions quantifiées disponibles.
Les solutions hébergées propriétaires proposent deux variantes en mélange d'experts : Qwen2.5-Turbo et Qwen2.5-Plus.
Le modèle phare Qwen2.5-72B-Instruct surpasse de nombreux modèles ouverts et propriétaires, affichant des performances compétitives par rapport à Llama-3-405B-Instruct.
Qwen2.5-Turbo et Qwen2.5-Plus offrent une meilleure rentabilité tout en restant compétitifs face à GPT-4o-mini et GPT-4o respectivement.

Ces améliorations fournissent une base solide pour le bon sens, les connaissances expertes et les capacités de raisonnement, tandis que les techniques de post-entraînement améliorent notablement la génération de longs textes, l'analyse de données structurées et le suivi des instructions.

Importance 2/3 Moonshot AI (arXiv) Alibaba (Qwen) Open weights Research paper

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 452 j

Qwen3 introduit un mode de réflexion unifié et élargit le support multilingue à 119 langues

Le rapport technique Qwen3 présente la dernière version de la famille de modèles Qwen, avec des architectures denses et Mixture-of-Expert (MoE) ayant des échelles de paramètres allant de 0,6 à 235 milliards. Une innovation majeure est l'intégration du mode de réflexion pour le raisonnement complexe et du mode sans réflexion pour les réponses rapides dans un cadre unifié, éliminant ainsi la nécessité de basculer entre différents modèles.

arxiv Moonshot AI (arXiv) · il y a 452 j · 2 vues

Qwen3 introduit un mode de réflexion unifié et la prise en charge de 119 langues

Le rapport technique Qwen3 présente une nouvelle série de grands modèles de langage à poids ouverts allant de 0,6 à 235 milliards de paramètres, avec des architectures denses et à Mélange d'Experts. Une innovation majeure est l'intégration du « mode de réflexion » pour le raisonnement complexe et du « mode sans réflexion » pour les réponses rapides dans un seul cadre, permettant une commutation dynamique sans alternance de modèle.

arxiv Moonshot AI (arXiv) · il y a 598 j

Qwen2.5 introduit des modèles denses et MoE avec 18T de jetons de pré-entraînement

Le rapport technique Qwen2.5 détaille la publication d'une série complète de grands modèles de langage (LLM) comprenant à la fois des variantes denses à poids ouverts et des modèles propriétaires à mélange d'experts (MoE). La mise à jour augmente considérablement les données de pré-entraînement, passant de 7 billions à 18 billions de jetons, et utilise plus d'un million d'échantillons pour l'entraînement postérieur via le réglage fin supervisé et l'apprentissage par renforcement.

arxiv Moonshot AI (arXiv) · il y a 755 j

L'équipe Qwen publie la série Qwen2 avec des modèles denses et MoE de 72B

L'équipe Qwen a publié le rapport technique de Qwen2, présentant une nouvelle série de grands modèles de langage allant de 0,5 à 72 milliards de paramètres, incluant à la fois les architectures denses et Mixture-of-Experts (MoE).

arxiv Moonshot AI (arXiv) · il y a 755 j

Le rapport technique Qwen2 présente des modèles denses et MoE jusqu'à 72 milliards de paramètres

Le rapport technique Qwen2 présente la série Qwen2, une nouvelle suite de grands modèles linguistiques et multimodaux fondamentaux et ajustés pour les instructions, allant de 0,5 à 72 milliards de paramètres. Cette version inclut à la fois des architectures denses et un modèle Mixture-of-Experts, le modèle phare Qwen2-72B démontrant des performances compétitives par rapport aux modèles propriétaires sur divers benchmarks.