《Qwen3 技术报告》介绍了一系列新的开源权重大型语言模型，参数量从 6 亿到 2350 亿不等，采用密集架构和混合专家（Mixture-of-Experts）架构。一项关键创新是将用于复杂推理的“思维模式”和用于快速响应的“非思维模式”集成到单一框架中，允许在不切换模型的情况下进行动态切换。

  • 旗舰型号 Qwen3-235B-A22B 每个 token 使用 220 亿激活参数，以平衡性能和推理效率。
  • 多语言支持从 29 种扩展到 119 种语言和方言，训练数据包括由先前 Qwen 模型生成的合成数据在内的 36 万亿个 token。
  • 该系列实现了“思维预算”机制，用于在推理期间自适应地分配计算资源。
  • 后训练采用多阶段强化学习和强到弱蒸馏，使模型与人类偏好对齐。

作者认为这些进展很重要，因为它们能够与专有模型竞争性能，同时为用户提供对推理努力和延迟的细粒度控制。