NVIDIA发布了Nemotron-Labs-3-Puzzle-75B-A9B模型，这是一个从Nemotron-3-Super-120B-A12B衍生而来的、针对部署优化的大型语言模型。它利用Iterative Puzzle后训练压缩框架，在保持强大下游准确性的同时，显著提高推理密集型和高长上下文工作负载的推理效率。

  • 将参数总量从120.7B/活跃参数12.8B减少至75.3B/活跃参数9.3B。
  • 在单个8x B200节点上，在匹配的用户吞吐量约束下，实现了约2倍的更高服务器吞吐量。
  • 将单张H100上可持续的1M-token并发从1个请求增加到8个请求。
  • 在推理、编码、多语言、长上下文和智能体基准测试中保持强大的准确性。

该模型支持多令牌预测以实现更快的文本生成，并已准备好用于英语、法语、德语、意大利语、日语、西班牙语和中文的商业用途。