Qwen2 技术报告介绍了 Qwen2 系列，这是一套全新的基础与指令微调大型语言和多模态模型，参数量范围从 0.5 到 720 亿。此次发布包括密集架构和混合专家（Mixture-of-Experts）模型，其中旗舰模型 Qwen2-72B 在各项基准测试中展现出与专有模型相媲美的性能。

  • 基础版 Qwen2-72B 模型在 MMLU 上得分 84.2，GPQA 上得分 37.9，HumanEval 上得分 64.6，GSM8K 上得分 89.5，BBH 上得分 82.4。
  • 指令微调版 Qwen2-72B-Instruct 变体在 MT-Bench 上得分 9.1，Arena-Hard 上得分 48.1，LiveCodeBench 上得分 35.7。
  • 这些模型支持约 30 种语言，包括英语、中文、西班牙语、法语、德语、阿拉伯语、俄语、韩语、日语、泰语和越南语。
  • 模型权重已在 Hugging Face 和 ModelScope 上开源，补充代码和部署资源提供在 GitHub 上。

作者发布这些权重旨在促进社区创新与可访问性，提供量化、微调及部署所需的资源，以支持广泛的应用与研究探索。