对 llama.cpp CUDA 后端的补丁通过添加健壮的能力检查，修复了在 Ampere 之前的 GPU 上进行多令牌预测 (MTP) 时的崩溃问题。更新确保仅在支持时才使用 BF16，对于 Kepler 等较旧的架构则回退到 FP16 或 FP32。

  • 修复了因在不支持的硬件上错误选择 BF16 计算而导致的 cuBLAS 崩溃。
  • 实现了回退链：如果支持则使用 BF16，如果快则使用 FP16，否则使用 FP32。
  • 在四块 Tesla K40c (Kepler) GPU 上使用 Qwen3.6 35B A3B q4xl 进行了测试。
  • 启用 MTP 的性能达到 ~25 tok/s，而原始版本约为 ~22 tok/s，禁用 MTP 时约为 ~17.5 tok/s。

此更改允许 MTP 解码在旧卡上正确运行，且不影响较新的 GPU。