DemoPSD mitiga o vazamento de informação privilegiada na autodistilação de políticas

Pesquisadores introduzem o DemoPSD, um framework que aborda o vazamento de informação privilegiada e o overfitting na autodistilação on-policy (OPSD) para grandes modelos de linguagem. O método utiliza a adoção seletiva da orientação do professor ao direcionar o aluno para um alvo de baricentro de KL reverso, equilibrando o aprendizado com o professor e a preservação da capacidade de raciocínio do aluno.

• DemoPSD mede diferenças de distribuição para controlar adaptativamente a mistura em cada posição de token.
• A abordagem alcança comprovadamente a atenuação do vazamento e a preservação da exploração sob distilação densa em nível de token.
• Experimentos no SciKnowEval em quatro campos científicos mostram que o DemoPSD supera GRPO e SDPO.
• O método mantém maior entropia de treinamento e generaliza robustamente para benchmarks GPQA fora da distribuição.

DemoPSD resolve questões fundamentais na OPSD ao impedir que o aluno codifique atalhos dependentes da resposta indisponíveis no momento do teste, melhorando assim a generalização entre domínios.