DeepSeek publie des modèles de raisonnement R1 par apprentissage par renforcement

DeepSeek présente ses modèles de raisonnement de première génération, DeepSeek-R1-Zero et DeepSeek-R1, qui atteignent des performances comparables à OpenAI-o1-1217 sur les tâches de raisonnement. DeepSeek-R1-Zero est entraîné par apprentissage par renforcement à grande échelle sans ajustement fin supervisé, tandis que DeepSeek-R1 utilise un pipeline multi-étapes avec des données de démarrage à froid pour améliorer la lisibilité.

• DeepSeek-R1-Zero développe naturellement des comportements de raisonnement tels que l'auto-vérification et la génération de chaînes de pensée longues par le seul RL.
• DeepSeek-R1 atteint 79,8 % Pass@1 sur AIME 2024, surpassant OpenAI-o1-1217, et marque 97,3 % sur MATH-500.
• L'équipe open-source six modèles denses (de 1,5B à 70B) distillés à partir de DeepSeek-R1 basés sur les architectures Qwen et Llama.
• Les modèles distillés comme DeepSeek-R1-Distill-Qwen-32B établissent de nouveaux records parmi les modèles denses, surpassant les concurrents open-source précédents.

La publication fournit à la communauté de recherche des points de contrôle open-source et une API pour faciliter le développement ultérieur de modèles de raisonnement plus petits et puissants.