Исследователи предлагают Replayed-Prefix On-Policy Distillation (ReOPD), метод вне среды, который повторно использует предварительно собранные траектории учителя в качестве повторяемых префиксов для решения проблемы высокой стоимости полностью онлайн он-полицейской дистилляции. Этот подход позволяет студенту действовать на выбранных шагах, пока учитель предоставляет плотное пошаговое обучение без выполнения новых взаимодействий со средой.
- ReOPD решает проблему «ловушки префикса» в многошаговой OPD, где улучшение релевантности студента может привести к запросу учителя по ненадежным историям.
- Он реализует расписание выборки с убывающим шагом, которое подчеркивает ранние префиксы с меньшим смещением для управления распределительным сдвигом.
- В задачах математического рассуждения и поиска ReOPD сохраняет или улучшает точность, используя ноль вызовов инструментов во время обучения.
- Метод как минимум в 4 раза быстрее на шаг обучения по сравнению со стандартной OPD, превращая взаимодействие агента со средой в повторно используемый офлайн ресурс.