llama.cpp 项目发布了版本 b10307,其中包含对 SYCL GPU 代码的修复,以正确解析 NVFP4 量化中使用的 UE4M3 缩放因子。

  • 该更新修正了从带符号 E4M3 到无符号的缩放值转换,因为 NVFP4 将这些因子存储在单个 UE4M3 字节中。
  • 提供适用于 macOS(Apple Silicon 和 Intel)、Linux(CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)、Android、Windows(CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)和 openEuler 的二进制文件。
  • 还提供了一个用于通用用途的 UI 构建版本。