微软发布了 Phi-4 的技术报告。Phi-4 是一个拥有 140 亿参数的语言模型，通过在训练过程中战略性地使用合成数据来优先保障数据质量。与之前从 GPT-4 蒸馏能力的 Phi 系列模型不同，Phi-4 在面向 STEM 的 QA 任务上超越了其教师模型，证明了其数据生成和后训练技术已超越简单的蒸馏。

  • 该模型采用的训练配方专注于高质量合成数据，而非仅仅依赖有机网络内容或代码。
  • Phi-4 在面向 STEM 的问答能力方面大幅优于 GPT-4。
  • 得益于改进的数据、训练课程以及后训练创新，该模型在规模相对较小的情况下取得了强劲的性能，尤其在以推理为核心的基准测试中表现突出。

报告强调，尽管从 phi-3 到 Phi-4 的架构变化极小，但对数据质量的关注使模型能够在特定领域超越教师模型的能力。