Авторы предлагают TurnOPD, стратегию бюджетирования на уровне ходов, предназначенную для устранения неэффективностей в базовой дистанилляции on-policy (OPD) для задач агентов с длинным горизонтом. Метод вводит адаптивное бюджетирование глубины отката и прогрессивное бюджетирование потерь с нормализацией по ходам для оптимизации обучающих ресурсов.
- Полногоризонтные откаты часто тратят ресурсы реального времени на хвостовые ходы, которые дают слабую и зашумлённую KL-супервизию.
- Целевые функции KL на уровне траектории концентрируют большую часть потерь на поверхностных токенах, оставляя глубокие ходы принятия решений недообученными.
- TurnOPD использует статистику ходов на основе зондов для определения длины отката и постепенно смещает вес KL от токенового уровня к сбалансированному по ходам обучению с учителем.
Эксперименты на ALFWorld, WebShop и Multi-Hop Search показывают, что TurnOPD достигает лучшей валидационной точности при равных бюджетах реального времени обучения по сравнению с базовой OPD.