Проект llama.cpp выпустил версию b9852, в которой представлена начальная поддержка формата квантования q1_0 для OpenCL. Это обновление включает общие возможности q1_0 и специфичные реализации Adreno GEMM/GEMV для устройств OpenCL.
- Начальная поддержка квантования q1_0 для OpenCL
- Добавлены ядра Adreno GEMM/GEMV для q1_0
- Предоставлены бинарные файлы для macOS Apple Silicon (arm64)
- Поддержка KleidiAI на macOS Apple Silicon отключена в этом выпуске
- Доступны сборки Ubuntu для CPU, Vulkan, ROCm 7.2, OpenVINO и SYCL
- Сборки Windows включают CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP и Adreno OpenCL
- Выпущены бинарные файлы Android arm64 (CPU)
- Поддержка openEuler для архитектур x86 и aarch64 с включенным ACL Graph
Этот выпуск расширяет аппаратную совместимость, обеспечивая эффективный вывод q1_0 на устройствах OpenCL, и предоставляет обновленные бинарные файлы для множества операционных систем и ускорителей.