一名贡献者通过 PR #1535 向 mlx-lm 添加了原生的 `nemotron_h_puzzle` 支持，使 Nemotron Puzzle 75B 模型能够在 64GB M2 Max 上运行。这项工作涉及修复分块配置支持、张量重映射以及对齐 NVIDIA 的 FP32 归一化/路由行为。

  • 4-bit 专家量化（配合 6-bit 密集层和 BF16 输出头）使用 42.03 GiB 检查点大小，内存峰值为 49.68 GB。
  • 4-bit 配置实现了 14.27 tok/s 的平均生成速度，而 5-bit 变体为 10.53 tok/s。
  • 本地任务检查中，4-bit 得分为 24/30，5-bit 为 21/30；长上下文检索方面，前者为 4/5，后者为 0/5。
  • 通过匹配 NVIDIA 的 BF16 到 FP32 提升边界，解决了导致第一层 SSM 输出差异的错误，余弦相似度提升至 0.999998。
  • BF16 输出头是必需的；以 4-bit 量化 131k-vocab lm_head 会产生重复的乱码。

作者指出，5-bit 检查点运行在接近 64GB 内存上限的位置，表明更高内存配置可能会产生不同的结果。