Les chercheurs proposent Replayed-Prefix On-Policy Distillation (ReOPD), une méthode hors environnement qui réutilise les trajectoires d'enseignant pré-collectées en tant que préfixes rejoués pour résoudre le coût élevé de la distillation on-policy entièrement en ligne. Cette approche permet à l'étudiant d'agir aux étapes sélectionnées tandis que l'enseignant fournit une supervision dense par étape sans exécuter de nouvelles interactions avec l'environnement.
- ReOPD adresse le "piège du préfixe" dans l'OPD multi-tours, où l'amélioration de la pertinence de l'étudiant peut interroger l'enseignant sur des historiques peu fiables.
- Elle met en œuvre un calendrier d'échantillonnage à décroissance par étape qui met l'accent sur les préfixes précoces à faible décalage pour gérer le décalage de distribution.
- Dans les environnements de raisonnement mathématique et de recherche, ReOPD préserve ou améliore la précision tout en utilisant zéro appel d'outil pendant l'entraînement.
- La méthode est au moins 4x plus rapide par étape d'entraînement que l'OPD standard en transformant l'interaction agent-environnement en une ressource hors ligne réutilisable.