Makalah ini memperkenalkan Neuron On-Policy Self-Distillation (Neuron-OPSD), sebuah kerangka kerja berpusat pada data yang memanfaatkan aktivasi neuron internal untuk memandu pemilihan data pelatihan dan konstruksi konteks guru untuk model bahasa besar. Pendekatan ini memungkinkan distilasi mandiri tanpa anotasi tanpa memerlukan label ground-truth atau umpan balik interaksi dunia nyata.
- Menangani kelemahan metode yang ada di mana varian berbasis SFT dan GRPO mengalami degradasi kinerja di luar domain, dan RL on-policy berbasis reward memperbesar kesalahan kalibrasi.
- Menggunakan aktivasi neuron internal untuk memandu pemilihan data pelatihan dan konstruksi konteks guru.
- Melatih model melalui distilasi on-policy dari distribusi guru, tidak memerlukan label ground-truth pada tahap apa pun.
Neuron-OPSD meningkatkan kinerja tugas dalam domain sambil mempertahankan generalisasi lintas domain dan mengurangi keruntuhan kalibrasi dibandingkan baseline tanpa anotasi sebelumnya. Kerangka kerja ini sangat relevan untuk pengaturan di mana interaksi online atau pengawasan eksternal mahal atau tidak memungkinkan.