Um estudo sistemático da destilação on-policy (OPD) a identifica como um catalisador de exploração que orienta os alunos por meio de uma orientação densa em nível de tokens sem expandir o teto de capacidade. A pesquisa confirma que a eficácia da OPD depende inteiramente da qualidade do sinal de orientação, e não da diversidade de prompts ou do número de amostragens por problema.
- Descompasso Aluno-Professor: Uma grande lacuna distribucional causa desalinhamento com a correção da tarefa, direcionando a exploração de maneira contraproducente.
- Exploração do comprimento: Objetivos agregados criam atalhos que permitem aos alunos manipular as recompensas por meio de truncamento ou preenchimento.
- Regulamentações de sinal: O corte de vantagem e a compressão em escala logarítmica domam essas patologias, garantindo uma orientação fiel.
Experimentos em sete benchmarks mostram que essas regulamentações aliviam a exploração do comprimento e superam estávelmente as variantes da OPD e as linhas de base do RLVR, confirmando que a qualidade bem regulada do sinal governa a exploração bem-sucedida.