Un estudio sistemático de la destilación on-policy (OPD) la identifica como un catalizador de exploración que guía a los estudiantes mediante una densa guía a nivel de tokens sin expandir el techo de capacidades. La investigación confirma que la efectividad de OPD depende completamente de la calidad de la señal de guía, no de la diversidad de prompts o del número de muestreos por problema.
- Desajuste Estudiante-Maestro: Una gran brecha distributiva causa desalineación con la corrección de la tarea, dirigiendo la exploración de manera contraproducente.
- Explotación de longitud: Los objetivos agregados crean atajos que permiten a los estudiantes manipular las recompensas mediante truncamiento o relleno.
- Regulaciones de señal: El recorte de ventaja y la compresión a escala logarítmica doman estas patologías asegurando una guía fiel.
Los experimentos en siete benchmarks muestran que estas regulaciones alivian la explotación de longitud y superan establemente a las variantes de OPD y las líneas base de RLVR, confirmando que la calidad de la señal bien regulada gobierna la exploración exitosa.