Os autores propõem o TurnOPD, uma estratégia de orçamentamento por turno projetada para abordar ineficiências na destilação on-policy (OPD) padrão para tarefas agentivas de longo horizonte. O método introduz orçamentamento adaptativo de profundidade de rollout e orçamentamento progressivo de perda normalizada por turno para otimizar os recursos de treinamento.
- Rollouts de horizonte completo frequentemente desperdiçam recursos de tempo real em turnos finais que fornecem supervisão KL fraca e ruidosa.
- Objetivos de KL em nível de trajetória concentram a maior parte da perda em tokens rasos, deixando os turnos de decisão mais profundos subtreinados.
- O TurnOPD usa estatísticas de turno baseadas em sondas para determinar o comprimento do rollout e desloca gradualmente o peso de KL do nível de token para uma supervisão equilibrada por turno.
Experimentos no ALFWorld, WebShop e Multi-Hop Search mostram que o TurnOPD alcança precisão de validação superior sob orçamentos iguais de tempo real de treinamento em comparação com a OPD padrão.