Проект llama.cpp выпустил сборку b10058, которая добавляет поддержку формата квантования Q2_0 во внутреннем бэкенде Vulkan. Это обновление также включает бинарные дистрибутивы для различных платформ, включая macOS, Linux, Windows и Android.
- Бэкенд Vulkan теперь поддерживает квантование Q2_0, при этом производительность была улучшена за счет удвоения количества строк на рабочую группу в тестах mat-vec-mul.
- Сборки Apple Silicon для macOS с включенным KleidiAI отключены в этом релизе.
- Новые бинарные файлы доступны для Ubuntu (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) и Android arm64.
- UI-фреймворк macOS обновлен до версии b10058.
Этот релиз позволяет пользователям использовать квантование с меньшей разрядностью на оборудовании, совместимом с Vulkan, а также предоставляет обновленные бинарные файлы для основных операционных систем.