llama.cpp 项目发布了版本 b10431，在 ggml_ssm_scan 操作中引入了对循环状态 (RS) 回滚的支持。此更改使 Nemotron 模型能够在 CPU 和 CUDA 后端上实现 RS 回滚。

  • 为 Nemotron 在 CPU 和 CUDA 上实现循环状态回滚的初始版本。
  • 在所有后端中支持 ssm_scan 中的 K > 1。
  • 使用运行时 fused_op API 替换静态 CUDA 检测以检查操作支持情况。
  • 当后端不支持 SSM 回滚时，回退到 CPU。
  • 为 CPU 和 CUDA 添加 test-backend-ops 以验证功能。

此更新允许用户在支持的硬件配置上运行具有循环状态回滚功能的 Nemotron 模型。