Para peneliti mengusulkan Neuron On-Policy Self-Distillation (Neuron-OPSD), sebuah kerangka kerja berpusat pada data yang memanfaatkan aktivasi neuron internal untuk memandu pemilihan data pelatihan dan konstruksi konteks guru untuk model bahasa besar. Pendekatan ini memungkinkan distilasi diri tanpa anotasi dengan melatih model melalui distilasi on-policy dari distribusi guru, menghilangkan kebutuhan akan label ground-truth.
Metode ini mengatasi keterbatasan dalam teknik evolusi diri tanpa anotasi yang ada, seperti degradasi kinerja di luar domain pada varian berbasis SFT dan GRPO serta inflasi kesalahan kalibrasi pada RL on-policy berbasis reward. Dengan menggunakan aktivasi neuron untuk memandu proses, Neuron-OPSD bertujuan meningkatkan kinerja tugas in-domain sambil mempertahankan generalisasi cross-domain.
Kerangka kerja ini dirancang untuk pengaturan di mana interaksi online atau pengawasan eksternal mahal atau tidak layak, menawarkan alternatif yang secara konseptual berbeda dari pendekatan RL offline yang bergantung pada lintasan berlabel reward yang tercatat.