Исследователи демонстрируют, что дистилляция 8B учителя рассуждений (deepseek-r1:8B) в 0.6B модель-студент (Qwen3-0.6B через QLoRA) позволяет выполнять высокообъемное структурированное извлечение с существенно меньшей задержкой и стоимостью. Исследование оценивает этот подход на сопоставлении новостных статей с JSON-объектами, содержащими резюме и категориальные метки, сравнивая дистиллированную модель с базовыми вариантами few-shot промптинга и ограниченного декодирования.

  • Модель-студент обрабатывает каждую статью примерно за 0.8 секунды по сравнению с 39 секундами учителя, восстанавливая 58% разрыва в производительности относительно базовой модели.
  • Она превосходит ограниченное декодирование на +16.8 балла и few-shot промптинг на +4.9 балла по оценкам качества резюме от слепой панели из трех судей.
  • Способность к рассуждениям учителя критически важна для качества текста, поскольку дистилляция от учителя того же размера без способности к рассуждениям не дает улучшения по сравнению с нетронутой базовой моделью.
  • Хотя линия рассуждений улучшает генерацию резюме, она приводит к большему количеству вымысла в статьях с тонкими источниками по сравнению с учителем на основе инструкций, который сохраняет лучшее обоснование.

Выводы предполагают, что поскольку ни один движок не побеждает во всех областях, оптимальный подход включает карту маршрутизации для каждой области обогащения на устройстве, а не опору на единственную модель.