Tencent 发布了 Hy3，这是一款由 Tencent Hy Team 开发的新款 Apache 2.0 许可的大型语言模型。该模型具有 2950 亿总参数和 210 亿激活参数，并支持 256K 的上下文长度。

  • Hy3 利用 Mixture-of-Experts 架构，带有 3.8B MTP 层参数。
  • 它优于类似规模的模型，并与需要 2-5 倍更多参数的旗舰级开源模型相媲美。
  • 全尺寸模型提供 598GB 下载，而 FP8 量化版本为 300GB。
  • Tencent 在收到来自 50 多个产品的反馈后，使用更高质量的数据进行了后训练扩展。

此次发布展示了在各种生产力任务中实用性的显著提升。