O projeto llama.cpp lançou a versão b9901, que inclui atualizações específicas para o backend SYCL para melhorar o desempenho em hardware Intel. O lançamento fornece binários para macOS, Linux, Windows, Android e openEuler através de CPU, CUDA, ROCm, Vulkan e outros backends.
- Define K_QUANTS_PER_ITERATION como 1 no caminho DMMV para melhorar a utilização da GPU.
- Corrige o gate ggml_sycl_supports_reorder_dmmv para habilitar o recurso de reordenação.
- Adiciona tipos ausentes ao ggml_backend_sycl_buffer_init_tensor para garantir alocamento adequado.
- Substitui QK_WARP_SIZE por WARP_SIZE para QK_5 em operações SYCL.
Essas mudanças resultam em um aumento significativo de tokens por segundo (tg t/s) na GPU Intel B70.