腾讯Hy团队开源了Hy4预览版，这是一款新一代混合专家（Mixture-of-Experts）旗舰模型，总参数量为770B，每个token激活49B参数。该架构包含78层，其中第一层使用密集前馈网络（dense FFN），其余77层采用具有256个路由专家的MoE结构，并配备用于推测解码的原生MTP层。

  • Hy4预览版使用腾讯软件工程师、游戏开发人员和金融分析师的数据进行训练，以提升生产力任务的表现。
  • 在163名内部专家对203项工程任务进行的盲测对比评估中，Hy4预览版得分2.99，略高于GLM 5.3（2.92）和Kimi K3（2.94）。
  • 该模型支持通过vLLM或SGLang部署并启用MTP，同时包含用于压缩的AngelSlim工具包。

此次发布旨在通过基于用户反馈的早期迭代，推动模型智能的边界，同时使其更加丰富和实惠。