Проект llama.cpp выпустил версию b10307, которая включает исправление кода GPU SYCL для корректного разбора коэффициентов масштабирования UE4M3, используемых в квантовании NVFP4.
- Обновление исправляет преобразование значений масштаба из знакового E4M3 в беззнаковое, поскольку NVFP4 хранит эти факторы в одnobайтовых форматах UE4M3.
- Бинарные файлы доступны для macOS (Apple Silicon и Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и openEuler.
- Также предоставляется сборка с пользовательским интерфейсом для общего использования.