Peneliti mengusulkan Distilasi On-Policy Langsung (Direct-OPD) untuk mentransfer pembelajaran penguatan dengan hadiah yang dapat diverifikasi dari model guru yang lebih kecil dan murah ke model target yang lebih besar. Metode ini memperlakukan rasio log antara kebijakan guru pasca-RL dan pra-RL sebagai hadiah implisit padat untuk siswa, menghindari kebutuhan akan model hadiah eksplisit atau RL hadiah jarang pada target.
- Direct-OPD membandingkan guru pasca-RL dengan referensi pra-RL-nya sendiri untuk membuat sinyal hadiah implisit yang padat.
- Pendekatan ini menerapkan sinyal ini pada keadaan on-policy milik siswa yang lebih kuat tanpa melatih model hadiah eksplisit.
- Ini memungkinkan komposisi berurutan dari beberapa pergeseran kebijakan dan melebihi RL langsung yang dicocokkan langkah demi langkah.
Teknik ini memungkinkan hasil RL digunakan kembali di berbagai skala model sebagai sinyal hadiah implisit, secara signifikan meningkatkan kemampuan penalaran dalam model yang lebih besar.