Los autores proponen TurnOPD, una estrategia de presupuestación por turno diseñada para abordar ineficiencias en la destilación on-policy (OPD) estándar para tareas agentivas de largo horizonte. El método introduce presupuestación adaptativa de profundidad de rollout y presupuestación progresiva de pérdida normalizada por turno para optimizar los recursos de entrenamiento.
- Los rollouts de horizonte completo a menudo desperdician recursos de tiempo real en turnos finales que proporcionan una supervisión KL débil y ruidosa.
- Los objetivos de KL a nivel de trayectoria concentran la mayor parte de la pérdida en tokens superficiales, dejando los turnos de decisión más profundos subentrenados.
- TurnOPD utiliza estadísticas de turno basadas en sondas para determinar la longitud del rollout y desplaza gradualmente el peso de KL desde el nivel de token hacia una supervisión equilibrada por turno.
Los experimentos en ALFWorld, WebShop y Multi-Hop Search muestran que TurnOPD logra una precisión de validación superior bajo presupuestos iguales de tiempo real de entrenamiento en comparación con OPD estándar.