Los investigadores proponen Replayed-Prefix On-Policy Distillation (ReOPD), un método fuera del entorno que reutiliza trayectorias del maestro previamente recopiladas como prefijos repetidos para abordar el alto costo de la distilación on-policy completamente en línea. Este enfoque permite que el estudiante actúe en pasos seleccionados mientras el maestro proporciona supervisión densa por paso sin ejecutar nuevas interacciones con el entorno.
- ReOPD aborda la "trampa del prefijo" en OPD multironda, donde mejorar la relevancia del estudiante puede consultar al maestro sobre historiales no confiables.
- Implementa un horario de muestreo con decaimiento por paso que enfatiza los primeros prefijos con menor cambio para gestionar el desplazamiento de distribución.
- En entornos de razonamiento matemático y búsqueda, ReOPD preserva o mejora la precisión mientras usa cero llamadas a herramientas durante el entrenamiento.
- El método es al menos 4 veces más rápido por paso de entrenamiento que OPD estándar al convertir la interacción agente-entorno en un recurso offline reutilizable.