研究人员证明，将 8B 推理教师模型（deepseek-r1:8B）通过 QLoRA 蒸馏到 0.6B 学生模型（Qwen3-0.6B），能够以显著更低的延迟和成本实现高吞吐量的结构化提取。该研究评估了将此方法应用于将新闻文章映射为包含摘要和分类标签的 JSON 对象，并将蒸馏后的模型与少样本提示和约束解码基线进行了比较。
- 学生模型处理每篇文章仅需约 0.8 秒，而教师模型需要 39 秒，恢复了相对于基础模型 58% 的性能差距。
- 在盲审三人评审组的摘要质量评分中，其表现优于约束解码 +16.8 分，优于少样本提示 +4.9 分。
- 推理能力对于写作质量至关重要，因为从同尺寸的非推理教师模型蒸馏无法带来相对于未微调基础模型的改进。
- 虽然推理谱系改善了摘要生成，但与基于指令的教师模型相比，它在薄源文章上导致了更多的捏造现象，后者保持了更好的事实依据。
研究结果表明，由于没有单一引擎能在所有领域获胜，最佳方案涉及针对设备端增强的逐域路由映射，而不是依赖单一模型。