Para penulis mengusulkan TurnOPD, sebuah strategi penganggaran tingkat giliran yang dirancang untuk mengatasi ketidakefisienan dalam distilasi on-policy (OPD) biasa untuk tugas agentic jangka panjang. Metode ini memperkenalkan penganggaran kedalaman rollout adaptif dan penganggaran kerugian ternormalisasi per giliran secara progresif untuk mengoptimalkan sumber daya pelatihan.
- Rollout cakupan penuh sering membuang-buang sumber daya waktu nyata pada giliran ekor yang memberikan supervisi KL yang lemah dan berisik.
- Tujuan KL tingkat lintasan memusatkan sebagian besar kerugian pada token dangkal, meninggalkan giliran keputusan yang lebih dalam kurang terlatih.
- TurnOPD menggunakan statistik giliran berbasis probe untuk menentukan panjang rollout dan secara bertahap menggeser bobot KL dari supervisi tingkat token ke supervisi seimbang per giliran.
Eksperimen pada ALFWorld, WebShop, dan Multi-Hop Search menunjukkan bahwa TurnOPD mencapai akurasi validasi yang lebih unggul di bawah anggaran pelatihan waktu nyata yang sama dibandingkan dengan OPD biasa.