Para penulis mengusulkan ShortOPD, sebuah jadwal distilasi on-policy pendek-ke-panjang yang dirancang untuk memulihkan kemampuan generatif dari model bahasa besar (LLM) yang dipangkas secara terstruktur dan runtuh selama generasi bebas. Dengan mendeteksi suffix berulang yang dikonfirmasi oleh guru dan memperlakukan prefix yang bertahan sebagai panjang rollout efektif, metode ini mengalokasikan anggaran pelatihan lebih efisien daripada pendekatan standar.
- ShortOPD meningkatkan skor model terkompresi menjadi sekitar 9 kali nilai yang tidak dipulihkan dan 1,6–4,4 kali dari resep pemulihan standar seperti SFT tanpa KD, KD, dan SeqKD di tugas matematika, kode, dan generasi terbuka.
- Metode ini sesuai dengan horizon rollout tetap 8192-token dalam dua poin sambil menggunakan hanya seperempat waktu pelatihan (8,5 vs. 35,9 jam) dan 71% lebih sedikit token rollout.
Pendekatan ini bertujuan untuk membawa pemangkasan terstruktur melampaui peningkatan marginal pada perplexity dan benchmark pilihan ganda, membawa model terkompresi lebih dekat ke kualitas generasi yang siap untuk deployment.