Авторы предлагают ShortOPD, график коротко-длинной онлайновой дистилляции, предназначенный для восстановления генеративных возможностей структурированно обрезанных больших языковых моделей, которые коллапсируют при свободной генерации. Обнаруживая подтвержденные учителем повторяющиеся суффиксы и рассматривая выживший префикс как эффективную длину развертки, метод распределяет обучающий бюджет более эффективно, чем стандартные подходы.

  • ShortOPD повышает оценки сжатой модели примерно до 9 раз ее невосстановленного значения и в 1.6–4.4 раза выше показателей стандартных рецептов восстановления, таких как SFT без KD, KD и SeqKD, по задачам математики, кода и открытой генерации.
  • Метод достигает фиксированной развертки на 8192 токена с точностью в два пункта, используя лишь четверть времени обучения (8.5 против 35.9 часов) и на 71% меньше токенов развертки.

Этот подход направлен на то, чтобы вывести структурированное обрезание за пределы маргинальных улучшений перплексии и множественного выбора в бенчмарках, приближая сжатые модели к качеству генерации, готовому для развертывания.