arxiv Moonshot AI (arXiv) · il y a 635 j

DeepSeek-V3 : modèle MoE 671B avec équilibrage sans perte auxiliaire

Traduit de English → Français

DeepSeek-AI présente DeepSeek-V3, un puissant modèle de langage à mélange d'experts (Mixture-of-Experts) comptant 671 milliards de paramètres au total et 37 milliards activés par token. Le modèle adopte les architectures Multi-head Latent Attention et DeepSeekMoE pour atteindre une inférence efficace et un entraînement rentable.

DeepSeek-V3 inaugure une stratégie d'équilibrage de charge sans perte auxiliaire afin de minimiser la dégradation des performances.
Il utilise un objectif d'entraînement par prédiction multi-tokens pour améliorer les performances globales sur les benchmarks.
L'équipe valide pour la première fois l'entraînement en précision mixte FP8 sur un modèle à échelle extrêmement large.
L'entraînement a utilisé 14,8 billions de tokens et n'a coûté que 2,788 millions d'heures GPU H800, totalisant environ 5,576 millions de dollars.
Les évaluations montrent qu'il surpasse les autres modèles open-source et égale les modèles fermés de pointe tels que GPT-4o et Claude-3.5-Sonnet.

Le rapport souligne que DeepSeek-V3 atteint des performances solides comparables à celles des meilleurs modèles fermés tout en maintenant des coûts d'entraînement et une stabilité remarquablement faibles.

Importance 3/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 609 j · 16 vues

DeepSeek-R1 incite le raisonnement des LLM par apprentissage par renforcement

DeepSeek a publié DeepSeek-R1, un grand modèle de langage entraîné en utilisant uniquement l'apprentissage par renforcement pour améliorer ses capacités de raisonnement sans s'appuyer sur des démonstrations annotées par des humains.

arxiv Moonshot AI (arXiv) · il y a 609 j · 32 vues

DeepSeek publie des modèles de raisonnement R1 par apprentissage par renforcement

DeepSeek présente ses modèles de raisonnement de première génération, DeepSeek-R1-Zero et DeepSeek-R1, qui atteignent des performances comparables à OpenAI-o1-1217 sur les tâches de raisonnement. DeepSeek-R1-Zero est entraîné par apprentissage par renforcement à grande échelle sans ajustement fin supervisé, tandis que DeepSeek-R1 utilise un pipeline multi-étapes avec des données de démarrage à froid pour améliorer la lisibilité.

arxiv arXiv cs.LG · il y a 1 j · 10 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement applique d'abord un RL guidé par des règles aux questions dérivées de MedBullets pour le diagnostic, puis utilise 5,3k scénarios synthétiques multi-tours avec des grilles multidimensionnelles pour les tâches cliniques interactives.

arxiv arXiv cs.AI · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer à la fois le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement cible d'abord la précision diagnostique en utilisant des questions dérivées de MedBullets, puis aborde les interactions cliniques multi-tours via 5,3k scénarios générés avec des grilles multidimensionnelles.

arxiv arXiv cs.CL · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical grâce aux récompenses basées sur des rubriques

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des rubriques pour améliorer à la fois le raisonnement diagnostique et clinique dans les soins de santé.