Los investigadores presentan DemoPSD, un marco para la auto-distilación on-policy que resuelve la fuga de información privilegiada y el sobreajuste adoptando selectivamente la guía del maestro. El método dirige al estudiante hacia un objetivo de baricentro de KL inversa, equilibrando el aprendizaje del maestro con la preservación de la capacidad de razonamiento del estudiante.
- DemoPSD utiliza la discrepancia de distribución para controlar adaptativamente la mezcla en cada posición de token.
- Demuestra teóricamente una atenuación de la fuga y la preservación de la exploración bajo distilación densa a nivel de token.
- Los experimentos en SciKnowEval muestran que supera a GRPO y SDPO en cuatro campos científicos.
- El enfoque mantiene una mayor entropía de entrenamiento y se generaliza robustamente a los benchmarks GPQA fuera de distribución.
DemoPSD mitiga eficazmente la supresión de la exploración y los problemas de generalización entre dominios inherentes a la auto-distilación estándar maestro-estudiante.