Les auteurs proposent TurnOPD, une stratégie de budgétisation au niveau du tour conçue pour adresser les inefficacités de la distillation on-policy (OPD) vanilla pour les tâches agentic à long horizon. La méthode introduit une budgétisation adaptative de la profondeur de rollout et une budgétisation progressive de la perte normalisée par tour pour optimiser les ressources d'entraînement.
- Les rollouts sur tout l'horizon gaspillent souvent des ressources en temps réel sur les tours finaux qui fournissent une supervision KL faible et bruyante.
- Les objectifs KL au niveau de la trajectoire concentrent la majeure partie de la perte sur les tokens peu profonds, laissant les tours de décision plus profonds sous-entraînés.
- TurnOPD utilise des statistiques de tour basées sur des sondes pour déterminer la longueur du rollout et déplace progressivement le poids KL d'une supervision au niveau du token vers une supervision équilibrée par tour.
Les expériences sur ALFWorld, WebShop et Multi-Hop Search montrent que TurnOPD atteint une précision de validation supérieure sous des budgets d'entraînement en temps réel égaux par rapport à l'OPD vanilla.