llama.cpp 项目发布了 b10344 版本，专门为 Nemotron 和 Nemotron Nano 模型引入了多令牌预测（MTP）支持。

  • 为 Nemotron Nano 模型添加了 MTP 支持。
  • 为 Nemotron 模型引入了 mtp_flags 配置。
  • 提供适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP）和 openEuler 的二进制文件。

此更新使用户能够在广泛的硬件平台和操作系统上利用 Nemotron 模型的 MTP 功能。