Pesquisadores demonstram que destilar um professor de raciocínio de 8B (deepseek-r1:8B) em um modelo estudante de 0.6B (Qwen3-0.6B via QLoRA) permite extração estruturada em alto volume com latência e custo significativamente menores. O estudo avalia essa abordagem no mapeamento de artigos de notícias para objetos JSON contendo resumos e rótulos categóricos, comparando o modelo destilado contra linhas de base de prompting few-shot e decodificação restrita.
- O modelo estudante processa cada artigo em aproximadamente 0.8 segundos, comparado aos 39 segundos do professor, recuperando 58% da lacuna de desempenho em relação ao modelo base.
- Ele supera a decodificação restrita em +16.8 pontos e o prompting few-shot em +4.9 pontos nas pontuações de qualidade do resumo obtidas por um painel cego de três juízes.
- A capacidade de raciocínio do professor é crítica para a qualidade da escrita, pois destilar de um professor não raciocinante de mesmo tamanho não produz melhoria em relação ao modelo base sem ajuste.
- Embora a linhagem de raciocínio melhore a geração de resumos, ela causa mais fabricação em artigos de fontes escassas comparado a um professor baseado em instruções, que mantém melhor fundamentação.
Os achados sugerem que, como nenhum único mecanismo vence em todos os campos, a abordagem ideal envolve um mapa de roteamento por campo para enriquecimento em dispositivo, em vez de depender de um único modelo.