Pesquisadores introduzem o DemoPSD, um framework para auto-distilação on-policy que resolve o vazamento de informação privilegiada e o overfitting ao adotar seletivamente a orientação do professor. O método direciona o aluno para um alvo de baricentro de KL reversa, equilibrando o aprendizado com o professor e a preservação da capacidade de raciocínio do aluno.
- DemoPSD usa discrepância de distribuição para controlar adaptativamente a mistura em cada posição de token.
- Prova-se que atenua o vazamento e preserva a exploração sob distilação densa em nível de token.
- Experimentos no SciKnowEval mostram que supera GRPO e SDPO em quatro campos científicos.
- A abordagem mantém maior entropia de treinamento e generaliza robustamente para benchmarks GPQA fora da distribuição.
DemoPSD mitiga eficazmente a supressão da exploração e os problemas de generalização entre domínios inerentes à auto-distilação padrão professor-aluno.