Los investigadores demuestran que destilar un maestro de razonamiento de 8B (deepseek-r1:8B) en un modelo estudiante de 0.6B (Qwen3-0.6B mediante QLoRA) permite una extracción estructurada de alto volumen con latencia y costo significativamente menores. El estudio evalúa este enfoque mapeando artículos de noticias a objetos JSON que contienen resúmenes y etiquetas categóricas, comparando el modelo destilado contra líneas base de prompting few-shot y decodificación restringida.
- El modelo estudiante procesa cada artículo en aproximadamente 0.8 segundos, en comparación con los 39 segundos del maestro, recuperando el 58% de la brecha de rendimiento relativa al modelo base.
- Supera a la decodificación restringida por +16.8 puntos y al prompting few-shot por +4.9 puntos en las puntuaciones de calidad del resumen según un panel ciego de tres jueces.
- La capacidad de razonamiento del maestro es crítica para la calidad de la escritura, ya que destilar desde un maestro no razonador del mismo tamaño no produce mejora alguna sobre el modelo base sin ajustar.
- Aunque el linaje de razonamiento mejora la generación de resúmenes, provoca más fabricaciones en artículos de fuentes escasas en comparación con un maestro basado en instrucciones, que mantiene un mejor anclaje.
Los hallazgos sugieren que, dado que ningún motor gana en todos los campos, el enfoque óptimo implica un mapa de enrutamiento por campo para el enriquecimiento en el dispositivo en lugar de depender de un único modelo.