Проект llama.cpp выпустил версию b10064, которая включает изменение в бэкенде OpenCL. Это обновление изменяет формат квантования q4_K путем транспонирования noshuffle scales для обеспечения согласованных чтений.
- Выпуск предоставляет двоичные файлы для macOS (Apple Silicon и Intel), Linux (Ubuntu x64, arm64, s390x), Windows (CPU, CUDA 12/13, Vulkan, ROCm, SYCL, HIP), Android и iOS.
- Поддержка OpenCL Adreno доступна для Windows arm64.
- Поддержка KleidiAI на macOS Apple Silicon остается отключенной в этой сборке.
- Обновление решает проблему производительности за счет оптимизации шаблонов доступа к памяти для определенных слоев квантования.