Une étude systématique de la distillation on-policy (OPD) l'identifie comme un catalyseur d'exploration qui oriente les élèves via des conseils denses au niveau des tokens, sans élever le plafond de capacité. La recherche confirme que l'efficacité de l'OPD repose entièrement sur la qualité du signal de guidage, et non sur la diversité des prompts ou le nombre d'échantillons par problème.
- Inadéquation Élève-Professeur : Un grand écart distributionnel provoque un désalignement avec la correction de la tâche, orientant l'exploration de manière contre-productive.
- Exploitation de la longueur : Des objectifs agrégés créent des raccourcis permettant aux élèves de manipuler les récompenses via la troncature ou le remplissage (padding).
- Régulations du signal : Le clipping de l'avantage et la compression à échelle logarithmique apaisent ces pathologies en assurant un guidage fidèle.
Des expériences sur sept benchmarks montrent que ces régulations atténuent l'exploitation de la longueur et surpassent stablement les variantes OPD et les références RLVR, confirmant qu'une qualité de signal bien régulée gouverne une exploration réussie.