llama.cpp выпускает версию b9748, добавляя поле "verbose" в свою схему и предоставляя бинарники для macOS, Linux, Android, Windows и openEuler. В релизе включены поддержка CPU, Vulkan, OpenVINO, SYCL и ROCm на нескольких архитектурах, с доступными билдами для iOS и Windows на CUDA и Vulkan.