Проект llama.cpp выпустил версию b9994, которая внедряет поддержку квантования Q2_0 через pull request #25419. Это обновление предоставляет предварительно собранные бинарные файлы для macOS, Linux, Windows, Android и openEuler на различных аппаратных бэкендах.
- Добавлена поддержка Q2_0 в бэкенд metal.
- Отключена поддержка KleidiAI для сборок Apple Silicon под macOS/iOS.
- Предоставлены бинарные файлы для CPU, Vulkan, CUDA (12.4 и 13.3), ROCm, OpenVINO, SYCL, HIP и OpenCL Adreno.
- В релиз включены iOS XCFramework и пакеты UI.