Les chercheurs présentent DemoPSD, un cadre qui traite de la fuite d'informations privilégiées et du surapprentissage dans l'auto-distillation on-policy (OPSD) pour les grands modèles de langage. La méthode utilise une adoption sélective du guidage du professeur en orientant l'étudiant vers une cible barycentre KL inverse, ce qui équilibre l'apprentissage à partir du professeur et la préservation de la capacité de raisonnement de l'étudiant.
- DemoPSD mesure les différences de distribution pour contrôler de manière adaptative le mélange à chaque position de token.
- L'approche atteint de manière prouvée une atténuation de la fuite et la préservation de l'exploration sous une distillation dense au niveau des tokens.
- Les expériences sur SciKnowEval dans quatre domaines scientifiques montrent que DemoPSD surpasse GRPO et SDPO.
- La méthode maintient une entropie d'entraînement plus élevée et généralise de manière robuste aux benchmarks GPQA hors distribution.
DemoPSD résout les problèmes fondamentaux de l'OPSD en empêchant l'étudiant d'encoder des raccourcis dépendants de la réponse indisponibles au moment du test, améliorant ainsi la généralisation inter-domaines.