Sebuah studi sistematis mengenai distilasi on-policy (OPD) mengidentifikasinya sebagai katalis eksplorasi yang mengarahkan siswa melalui panduan tingkat token yang padat tanpa meningkatkan batas kemampuan. Penelitian ini mengonfirmasi bahwa efektivitas OPD sepenuhnya bergantung pada kualitas sinyal panduan, bukan pada keragaman prompt atau jumlah pengambilan sampel per masalah.
- Ketidaksesuaian Siswa-Guru: Jarak distribusi yang besar menyebabkan ketidakselarasan dengan kebenaran tugas, mengarahkan eksplorasi secara kontra-produktif.
- Eksploitasi Panjang: Tujuan terakumulasi menciptakan jalan pintas yang memungkinkan siswa memanipulasi hadiah melalui pemotongan atau padding.
- Regulasi Sinyal: Clipping keuntungan dan kompresi skala log meredam patologi ini dengan memastikan panduan yang setia.
Eksperimen di tujuh benchmark menunjukkan bahwa regulasi ini mengurangi eksploitasi panjang dan secara stabil melampaui varian OPD serta baseline RLVR, mengonfirmasi bahwa kualitas sinyal yang diatur dengan baik mengendalikan eksplorasi yang sukses.