Les chercheurs présentent DemoPSD, un cadre pour l'auto-distillation on-policy qui résout la fuite d'informations privilégiées et le surapprentissage en adoptant sélectivement les conseils du professeur. La méthode oriente l'étudiant vers une cible barycentrique KL-inverse, équilibrant l'apprentissage à partir du professeur et la préservation de la capacité de raisonnement de l'étudiant.
- DemoPSD utilise l'écart de distribution pour contrôler de manière adaptative le mélange à chaque position de token.
- Il atteint théoriquement une atténuation de la fuite et la préservation de l'exploration sous une distillation dense au niveau des tokens.
- Les expériences sur SciKnowEval montrent qu'il surpasse GRPO et SDPO dans quatre domaines scientifiques.
- L'approche maintient une entropie d'entraînement plus élevée et généralise de manière robuste aux benchmarks GPQA hors distribution.
DemoPSD atténue efficacement la suppression de l'exploration et les problèmes de généralisation inter-domaine inhérents à l'auto-distillation standard professeur-étudiant.