Los investigadores presentan DemoPSD, un marco que aborda la fuga de información privilegiada y el sobreajuste en la autodesilación on-policy (OPSD) para modelos de lenguaje grandes. El método utiliza la adopción selectiva de la guía del maestro al dirigir al estudiante hacia un objetivo de baricentro de KL inverso, equilibrando el aprendizaje del maestro con la preservación de la capacidad de razonamiento del estudiante.
- DemoPSD mide las diferencias de distribución para controlar adaptativamente la mezcla en cada posición de token.
- El enfoque logra demostrablemente la atenuación de la fuga y la preservación de la exploración bajo una distilación densa a nivel de token.
- Los experimentos en SciKnowEval en cuatro campos científicos muestran que DemoPSD supera a GRPO y SDPO.
- El método mantiene una entropía de entrenamiento más alta y se generaliza robustamente a los benchmarks GPQA fuera de la distribución.
DemoPSD resuelve problemas fundamentales en OPSD al evitar que el estudiante codifique atajos dependientes de la respuesta no disponibles en el momento de la prueba, mejorando así la generalización entre dominios.