腾讯Hy团队开源了Hy4-preview，这是一款新一代混合专家（MoE）旗舰模型，总参数量为770B，每个token激活49B参数。该架构包含78层，其中第一层使用密集前馈网络（FFN），其余77层采用具有256个路由专家的MoE结构，并配备用于推测解码的原生MTP层。

  • Hy4-preview采用门控DeepSeek稀疏注意力机制和恒等超连接以增强信息流动。
  • 训练数据由腾讯内部软件工程、金融和游戏开发领域的专家精心策划。
  • 在203项工程任务的盲测对比评估中，Hy4-preview得分为2.99，略高于GLM 5.3（2.92）和Kimi K3（2.94）。
  • 权重以标准格式和FP8格式提供，采用Apache License 2.0许可证。

该模型旨在提升长周期编码、数据分析和科学研究等复杂任务的生产力，并支持vLLM和SGLang部署。