Peneliti memperkenalkan DemoPSD, sebuah kerangka kerja untuk distilasi diri on-policy yang mengatasi kebocoran informasi istimewa dan overfitting dengan secara selektif mengadopsi bimbingan guru. Metode ini mengarahkan siswa ke target barycenter reverse-KL, menyeimbangkan pembelajaran dari guru dengan mempertahankan kapasitas penalaran siswa.

  • DemoPSD menggunakan ketidaksesuaian distribusi untuk mengendalikan blending secara adaptif di setiap posisi token.
  • Secara teoretis mencapai pengurangan kebocoran dan pelestarian eksplorasi di bawah distilasi tingkat token yang padat.
  • Eksperimen pada SciKnowEval menunjukkan bahwa metode ini mengungguli GRPO dan SDPO di empat bidang ilmiah.
  • Pendekatan ini mempertahankan entropi pelatihan yang lebih tinggi dan secara robust menggeneralisasi ke benchmark GPQA out-of-distribution.

DemoPSD secara efektif mengurangi penekanan eksplorasi dan masalah generalisasi lintas-domain yang melekat pada distilasi diri guru-siswa standar.