Проект llama.cpp выпустил версию b9901, которая включает специфические обновления бэкенда SYCL для повышения производительности на оборудовании Intel. Релиз предоставляет бинарные файлы для macOS, Linux, Windows, Android и openEuler для CPU, CUDA, ROCm, Vulkan и других бэкендов.
- Устанавливает K_QUANTS_PER_ITERATION в 1 на пути DMMV для улучшения использования GPU.
- Исправляет гейт ggml_sycl_supports_reorder_dmmv для включения функции перестановки.
- Добавляет отсутствующие типы в ggml_backend_sycl_buffer_init_tensor для обеспечения правильного выделения памяти.
- Заменяет QK_WARP_SIZE на WARP_SIZE для QK_5 в операциях SYCL.
Эти изменения приводят к значительному увеличению количества токенов в секунду (tg t/s) на GPU Intel B70.