Para peneliti memperkenalkan DemoPSD, sebuah kerangka kerja yang mengatasi kebocoran informasi istimewa dan overfitting dalam distilasi diri on-policy (OPSD) untuk model bahasa besar. Metode ini menggunakan adopsi selektif bimbingan guru dengan mengarahkan siswa ke target barycenter KL terbalik, yang menyeimbangkan pembelajaran dari guru dengan mempertahankan kapasitas penalaran siswa.
- DemoPSD mengukur perbedaan distribusi untuk mengontrol pencampuran secara adaptif di setiap posisi token.
- Pendekatan ini secara terbukti mencapai pengurangan kebocoran dan pelestarian eksplorasi di bawah distilasi tingkat token yang padat.
- Eksperimen pada SciKnowEval di empat bidang ilmiah menunjukkan bahwa DemoPSD melebihi GRPO dan SDPO.
- Metode ini mempertahankan entropi pelatihan yang lebih tinggi dan secara robust menggeneralisasi ke benchmark GPQA out-of-distribution.
DemoPSD menyelesaikan masalah mendasar dalam OPSD dengan mencegah siswa mengkodekan jalan pintas bergantung jawaban yang tidak tersedia saat pengujian, sehingga meningkatkan generalisasi lintas domain.