저자들은 장기간 에이전트 작업에서 기본 온-정책 증류(OPD)의 비효율성을 해결하도록 설계된 턴 수준 예산 할당 전략인 TurnOPD를 제안합니다. 이 방법은 적응형 롤아웃 깊이 예산 할당과 점진적인 턴 정규화 손실 예산 할당을 도입하여 훈련 자원을 최적화합니다.
- 전체 기간 롤아웃은 약하고 노이즈가 많은 KL 감독을 제공하는 말단 턴에 벽시계 자원을 낭비하는 경우가 많습니다.
- 궤적 수준의 KL 목적 함수는 대부분의 손실을 얕은 토큰에 집중시켜 깊은 의사결정 턴이 불충분하게 훈련되게 합니다.
- TurnOPD는 프로브 기반 턴 통계를 사용하여 롤아웃 길이를 결정하고 KL 가중치를 토큰 수준에서 턴 균형 잡힌 감독으로 점진적으로 전환합니다.
ALFWorld, WebShop 및 Multi-Hop Search에 대한 실험 결과, TurnOPD가 동일한 벽시계 훈련 예산 하에서 기본 OPD보다 우수한 검증 정확도를 달성함을 보여줍니다.