arxiv Moonshot AI (arXiv) · il y a 609 j

DeepSeek-R1 incite le raisonnement des LLM par apprentissage par renforcement

Traduit de English → Français

DeepSeek a publié DeepSeek-R1, un grand modèle de langage entraîné en utilisant uniquement l'apprentissage par renforcement pour améliorer ses capacités de raisonnement sans s'appuyer sur des démonstrations annotées par des humains.

Le modèle présente des motifs de raisonnement avancés émergents, y compris l'auto-réflexion, la vérification et l'adaptation dynamique des stratégies. Il obtient des performances supérieures sur des tâches vérifiables en mathématiques, compétitions de codage et domaines STEM par rapport aux modèles entraînés par apprentissage supervisé conventionnel. De plus, les motifs de raisonnement développés par ce modèle à grande échelle peuvent être utilisés pour guider et améliorer des modèles plus petits.

Cette approche démontre que l'apprentissage par renforcement seul peut efficacement inciter des comportements de raisonnement complexes dans les LLM, réduisant la dépendance aux données massivement étiquetées par des humains.

Importance 2/3 Moonshot AI (arXiv) DeepSeek Research paper Training methods

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 609 j · 32 vues

DeepSeek publie des modèles de raisonnement R1 par apprentissage par renforcement

DeepSeek présente ses modèles de raisonnement de première génération, DeepSeek-R1-Zero et DeepSeek-R1, qui atteignent des performances comparables à OpenAI-o1-1217 sur les tâches de raisonnement. DeepSeek-R1-Zero est entraîné par apprentissage par renforcement à grande échelle sans ajustement fin supervisé, tandis que DeepSeek-R1 utilise un pipeline multi-étapes avec des données de démarrage à froid pour améliorer la lisibilité.

arxiv Moonshot AI (arXiv) · il y a 635 j · 24 vues

DeepSeek-V3 : modèle MoE 671B avec équilibrage sans perte auxiliaire

DeepSeek-AI présente DeepSeek-V3, un puissant modèle de langage à mélange d'experts (Mixture-of-Experts) comptant 671 milliards de paramètres au total et 37 milliards activés par token. Le modèle adopte les architectures Multi-head Latent Attention et DeepSeekMoE pour atteindre une inférence efficace et un entraînement rentable.

arxiv arXiv cs.LG · il y a 1 j · 10 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement applique d'abord un RL guidé par des règles aux questions dérivées de MedBullets pour le diagnostic, puis utilise 5,3k scénarios synthétiques multi-tours avec des grilles multidimensionnelles pour les tâches cliniques interactives.

arxiv arXiv cs.AI · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer à la fois le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement cible d'abord la précision diagnostique en utilisant des questions dérivées de MedBullets, puis aborde les interactions cliniques multi-tours via 5,3k scénarios générés avec des grilles multidimensionnelles.

arxiv arXiv cs.CL · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical grâce aux récompenses basées sur des rubriques

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des rubriques pour améliorer à la fois le raisonnement diagnostique et clinique dans les soins de santé.