Les auteurs proposent ShortOPD, un calendrier de distillation on-policy courte-longue conçu pour récupérer les capacités génératives des grands modèles de langage (LLM) élagués de manière structurée qui s'effondrent lors de la génération libre. En détectant les suffixes répétitifs confirmés par le professeur et en traitant le préfixe survivant comme la longueur effective de rollout, la méthode alloue le budget d'entraînement plus efficacement que les approches standard.
- ShortOPD élève les scores des modèles compressés à environ 9 fois leur valeur non récupérée et 1,6 à 4,4 fois ceux des recettes de récupération standard comme SFT sans KD, KD et SeqKD dans les tâches de mathématiques, de code et de génération ouverte.
- La méthode correspond à un horizon de rollout fixe de 8192 tokens avec une marge de deux points tout en utilisant seulement un quart du temps d'entraînement (8,5 contre 35,9 heures) et 71 % de moins de tokens de rollout.
Cette approche vise à faire passer l'élagage structuré au-delà des gains marginaux sur la perplexité et les benchmarks à choix multiples, rapprochant les modèles compressés d'une qualité de génération prête pour le déploiement.