MOPD : Distillation multi-professeur en politique pour l'intégration des capacités lors du post-entraînement des LLM

Les auteurs proposent la Distillation Multi-Professeur en Politique (MOPD), un paradigme de post-entraînement conçu pour intégrer les capacités de plusieurs enseignants d'apprentissage par renforcement spécifiques à un domaine au sein d'un seul modèle élève. Cette approche élimine le biais d'exposition et fournit un signal d'optimisation dense en distillant les enseignants dans l'élève pendant ses propres rollouts.

• MOPD surpasse les méthodes de référence Mix-RL, Cascade RL, Off-Policy Finetune et Param-Merge sur Qwen3-30B-A3B, héritant de presque toutes les capacités de chaque enseignant.
• La méthode permet un développement parallèle et indépendant des enseignants par domaine, supprimant le couplage inter-domaine typique du post-entraînement multi-domaines.
• MOPD a été déployé dans le post-entraînement de MiMo-V2-Flash, un modèle de pointe à échelle industrielle.

Ce travail démontre la valeur pratique pour l'intégration des capacités des LLMs de taille frontalière en permettant une combinaison efficace de compétences spécialisées sans perte de performance.