阿里巴巴发布了Qwen2.5技术报告，介绍了一系列大型语言模型，在预训练和训练后阶段均有显著改进。此次更新将高质量预训练数据集从7万亿token扩展至18万亿token，并实施了包含超过100万样本的复杂监督微调以及多阶段强化学习。

  • 开放权重产品包括基础模型和指令微调模型，并提供量化版本。
  • 专有托管解决方案提供两种混合专家变体：Qwen2.5-Turbo和Qwen2.5-Plus。
  • 旗舰模型Qwen2.5-72B-Instruct的表现优于许多开源和专有模型，与Llama-3-405B-Instruct的性能相当。
  • Qwen2.5-Turbo和Qwen2.5-Plus在性价比方面表现优异，同时在与GPT-4o-mini和GPT-4o的竞争中展现出竞争力。

这些增强为常识、专家知识和推理能力提供了坚实基础，而训练后技术显著改善了长文本生成、结构化数据分析及指令遵循能力。