Para peneliti mengusulkan Replayed-Prefix On-Policy Distillation (ReOPD), sebuah metode off-environment yang menggunakan kembali trajektori guru yang telah dikumpulkan sebelumnya sebagai awalan yang diulang untuk mengatasi biaya tinggi dari distilasi on-policy sepenuhnya online. Pendekatan ini memungkinkan siswa untuk bertindak pada langkah-langkah tertentu sementara guru memberikan pengawasan per langkah yang padat tanpa menjalankan interaksi lingkungan baru.
- ReOPD mengatasi "jebakan awalan" dalam OPD multi-gilir, di mana peningkatan relevansi siswa dapat menanyakan guru pada riwayat yang tidak dapat diandalkan.
- Ini menerapkan jadwal pengambilan sampel dengan penurunan langkah yang menekankan awalan awal dengan pergeseran rendah untuk mengelola pergeseran distribusi.
- Di lingkungan penalaran matematika dan pencarian, ReOPD mempertahankan atau meningkatkan akurasi sambil menggunakan nol panggilan alat selama pelatihan.
- Metode ini setidaknya 4x lebih cepat per langkah pelatihan daripada OPD standar dengan mengubah interaksi agen-lingkungan menjadi sumber daya offline yang dapat digunakan kembali.