연구자들은 Replayed-Prefix On-Policy Distillation (ReOPD)를 제안했습니다. 이는 사전 수집된 교사 트래젝토리를 재생된 접두사로 재사용하여 완전한 온라인 온-정책 증류의 높은 비용을 해결하는 오프-환경 방법입니다. 이 접근 방식을 통해 학생 모델은 선택된 단계에서 행동할 수 있으며, 교사는 새로운 환경 상호작용을 실행하지 않고도 밀집된 단계별 지도를 제공합니다.
- ReOPD는 다중 턴 OPD의 "접두사 함정"을 해결합니다. 이는 학생의 관련성을 개선하면 신뢰할 수 없는 이력에 대해 교사에게 쿼리할 수 있다는 문제입니다.
- 분포 시프트를 관리하기 위해 초기 낮은 시프트 접두사를 강조하는 단계 감소 샘플링 일정을 구현합니다.
- 수학적 추론 및 검색 환경에서 ReOPD는 훈련 중 도구 호출을 전혀 사용하지 않으면서 정확도를 유지하거나 향상시킵니다.
- 이 방법은 에이전트-환경 상호작용을 재사용 가능한 오프라인 리소스로 전환함으로써 표준 OPD보다 훈련 단계당 최소 4배 더 빠릅니다.