llama.cpp b9968 добавляет int8 dp4 dense и оптимизацию префилла MoE для GPU Adreno

Проект llama.cpp выпустил версию b9968, внедряя оптимизации OpenCL для графических процессоров Qualcomm Adreno. Обновление добавляет возможности умножения плотных матриц int8 dp4 и GEMM Mixture of Experts (MoE) в бэкенд OpenCL.

• Добавлена поддержка int8 dp4 dense и GEMM MoE для GPU Adreno через OpenCL.
• Рефакторинг кодовой базы OpenCL в рамках обновления.
• macOS Apple Silicon с KleidiAI отключена в этом релизе.
• Бинарные файлы предоставлены для macOS (Apple Silicon и Intel), Linux, Android, Windows и openEuler для бэкендов CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL и HIP.

Этот релиз предоставляет обновленные бинарные файлы для различных платформ, а также включает специфические оптимизации производительности для мобильных GPU Adreno.