Исследование показывает, что сжатие само-дистиллированных цепочек рассуждений с учётом секций позволяет моделям Qwen3.5-4B и Gemma-4-12b достигать или превосходить оригинальную производительность, используя значительно меньше токенов. Сохраняя вычислительные и верификационные отрезки при сжатии повествования, метод избегает сбоев жадного декодирования, связанных с плоским сжатием.

  • Плоское сжатие приводит к сбоям жадного декодирования, зацикливаясь на 93% задач GSM8K при температуре 0.
  • Сжатие с учётом секций повышает точность на +.15 по GSM8K по сравнению с несжатым SFT-контролем, используя примерно в 1.7 раза меньше токенов.
  • Обучение без системного промпта и его использование при обслуживании даёт лучшие результаты, поскольку промпт действует как триггер эффективности.
  • Поведение сжатия можно переключать через идентификационный промпт, позволяя модели переходить между краткими рассуждениями и несжатым выводом.
  • Более мощный учительский модель показала худшие результаты по сравнению с несжатым SFT, что указывает на необходимость сохранения близости цепочек к распределению студента.
  • Подход эффективно переносится на более крупные модели; Gemma-4-12b достигла точности .86 на GSM8K при 1,679 токенах против .57 при 3,753 для оригинальной версии.

Исследование подчёркивает, что сохранение вычислительных отрезков закрепляет завершение и повышает эффективность, при этом полный код, модели и наборы данных доступны.