Pesquisadores propõem Replayed-Prefix On-Policy Distillation (ReOPD), um método fora do ambiente que reutiliza trajetórias do professor previamente coletadas como prefixos repetidos para abordar o alto custo da distilação on-policy totalmente online. Esta abordagem permite que o aluno atue em etapas selecionadas enquanto o professor fornece supervisão densa por etapa sem executar novas interações com o ambiente.
- ReOPD aborda a "armadilha do prefixo" na OPD multironda, onde melhorar a relevância do aluno pode consultar o professor sobre históricos não confiáveis.
- Implementa um agendamento de amostragem com decaimento por etapa que enfatiza os primeiros prefixos com menor mudança para gerenciar o deslocamento de distribuição.
- Em ambientes de raciocínio matemático e busca, ReOPD preserva ou melhora a precisão enquanto usa zero chamadas de ferramentas durante o treinamento.
- O método é pelo menos 4x mais rápido por etapa de treinamento do que OPD padrão ao transformar a interação agente-ambiente em um recurso offline reutilizável.