arxiv Moonshot AI (arXiv) · il y a 466 j

Microsoft lance Phi-4-Mini-Reasoning, un modèle de 3,8 milliards de paramètres surpassant les modèles de raisonnement plus grands

Traduit de English → Français

Microsoft a présenté Phi-4-Mini-Reasoning, un modèle compact de 3,8 milliards de paramètres qui atteint des performances supérieures en raisonnement mathématique par rapport à des concurrents significativement plus grands grâce à une recette d'entraînement systématique en quatre étapes.

La méthodologie implique un entraînement intermédiaire à grande échelle sur des données de chaîne de pensée longue distillées, un ajustement fin supervisé, le Rollout DPO utilisant des ensembles de préférences curatés et l'apprentissage par renforcement avec des récompenses vérifiables.

Sur le benchmark Math-500, Phi-4-Mini-Reasoning dépasse DeepSeek-R1-Distill-Qwen-7B de 3,2 points et DeepSeek-R1-Distill-Llama-8B de 7,7 points.

Les résultats valident qu'une recette d'entraînement soigneusement conçue avec des données de chaîne de pensée de haute qualité peut débloquer de fortes capacités de raisonnement dans des modèles de langage petits aux ressources limitées.

Importance 1/3 Moonshot AI (arXiv) Microsoft Research Research paper Training methods

Benchmarks

Benchmark	Modèle	Score
MATH-500	Llama-8B	89.1%
MATH-500	Qwen-1.5B	83.9%
MATH-500	Phi-4-Mini-Reasoning	3.2%

Lire l'original

Articles similaires

arxiv Moonshot AI (arXiv) · il y a 605 j

Microsoft publie le rapport technique de Phi-4 sur le modèle 14B utilisant des données synthétiques

Microsoft a publié le rapport technique pour Phi-4, un modèle de langage de 14 milliards de paramètres qui privilégie la qualité des données grâce à une utilisation stratégique de données synthétiques tout au long de l'entraînement. Contrairement aux précédents modèles Phi qui distillaient les capacités de GPT-4, Phi-4 surpasse son enseignant sur les tâches de QA axées sur les STEM, démontrant que ses techniques de génération de données et de post-entraînement vont au-delà de la simple distillation.

arxiv arXiv cs.LG · il y a 2 j

U-OPSD permet l'auto-distillation non supervisée sur politique pour les LLM

Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.

media MarkTechPost · il y a 3 j

SkillOpt de Microsoft permet le transfert de compétences d'agent entre Codex et Claude Code

Des chercheurs de Microsoft, de l'Université Jiao Tong de Shanghai, de l'Université Tongji et de l'Université Fudan ont développé SkillOpt, un optimiseur dans l'espace textuel qui entraîne des documents de compétences en langage naturel tout en maintenant le modèle cible figé. Le système utilise un modèle d'optimisation pour proposer des modifications bornées basées sur des rollouts notés, exportant le résultat sous forme d'un seul fichier `best_skill.md`.

arxiv arXiv cs.CL · il y a 9 j · 2 vues

Mémoire à l'échelle : Passage à l'échelle des modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres

Les chercheurs présentent Memory Decoder at Scale, un système qui met à l'échelle les modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres et les pré-entraîne sur 300 milliards de tokens. Pour pallier l'irréalisme des pipelines Faiss standards à cette échelle de données, les auteurs implémentent un pipeline d'indexation distribué avec un chargement par lots et dispersé des distributions kNN.

lab Microsoft Research Blog · il y a 9 j · 3 vues

Microsoft Research présente EvoLib pour l'apprentissage au moment du test avec une bibliothèque évolutive

Microsoft Research a présenté EvoLib, un cadre qui permet aux grands modèles de langage d'apprendre de leur propre expérience pendant l'inférence sans nécessiter d'étiquettes de vérité terrain ni de retour externe. Au lieu de stocker les expériences brutes comme des mémoires statiques, EvoLib les transforme en compétences réutilisables et en réflexions qui sont continuellement affinées, consolidées et réévaluées.