Проект llama.cpp выпустил версию b9844, которая вводит поддержку формата квантования ggml-webgpu NVFP4. Это обновление также предоставляет предварительно собранные бинарные файлы для macOS, iOS, Linux, Android, Windows и openEuler для различных аппаратных бэкендов.

  • Добавлена поддержка NVFP4 в ggml-webgpu через pull request #25143.
  • В этом выпуске отключены сборки KleidiAI для macOS Apple Silicon и openEuler.
  • Предоставлены бинарные файлы для Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и Android arm64.
  • Выпущены бинарные файлы для macOS Apple Silicon (arm64 и x64) вместе с iOS XCFramework.
  • Включены бинарные файлы UI для общего использования.

Этот выпуск позволяет разработчикам использовать квантование NVFP4 на устройствах WebGPU, а также предоставляет обновленные предварительно собранные исполняемые файлы для широкого спектра операционных систем и архитектур GPU.