llama.cpp 的一个拉取请求引入了针对 CUDA 上 NVFP4 量化的融合 MMVQ(多模向量量化)后缩放操作,专门针对批次大小 1。

该实现包括密集的 MMVQ 融合,并将缩放融合限制为 NVFP4,以防止在 GEMV 密集型配置中出现性能回归。在 B4500、DGX Spark 和 B6000 硬件上的基准测试显示,与主分支相比,qwen35moe 35B.A3B NVFP4 的加速比从 1.02x 到 1.08x 不等。

这些更改还涉及重构主机端的融合逻辑、合并单通道 mm-fusion 辅助函数,并重新排序偏置/缩放加法以符合相关的 PR。