Para penulis mengusulkan Distilasi On-Policy Multi-Guru (MOPD), sebuah paradigma pasca-pelatihan yang dirancang untuk mengintegrasikan kemampuan dari beberapa guru penguatan pembelajaran spesifik domain ke dalam satu model siswa. Pendekatan ini menghilangkan bias eksposur dan memberikan sinyal optimisasi yang padat dengan mendistilasi guru-guru ke dalam siswa selama rollouts-nya sendiri.
- MOPD mengungguli baseline Mix-RL, Cascade RL, Off-Policy Finetune, dan Param-Merge pada Qwen3-30B-A3B, mewarisi hampir semua kemampuan dari setiap guru.
- Metode ini memungkinkan pengembangan paralel dan independen dari guru-guru domain, menghilangkan kopling lintas-domain yang khas dalam pasca-pelatihan multi-domain.
- MOPD telah diterapkan dalam pasca-pelatihan MiMo-V2-Flash, sebuah model frontier skala industri.
Karya ini menunjukkan nilai praktis untuk integrasi kemampuan pada LLM frontier dengan memungkinkan kombinasi keterampilan khusus secara efisien tanpa kehilangan kinerja.