El proyecto llama.cpp lanzó la versión b9901, que incluye actualizaciones específicas al backend SYCL para mejorar el rendimiento en hardware Intel. El lanzamiento proporciona binarios para macOS, Linux, Windows, Android y openEuler a través de CPU, CUDA, ROCm, Vulkan y otros backends.
- Establece K_QUANTS_PER_ITERATION en 1 en la ruta DMMV para mejorar la utilización de la GPU.
- Corrige el gate ggml_sycl_supports_reorder_dmmv para habilitar la función de reordenamiento.
- Añade tipos faltantes a ggml_backend_sycl_buffer_init_tensor para asegurar una asignación adecuada.
- Reemplaza QK_WARP_SIZE con WARP_SIZE para QK_5 en operaciones SYCL.
Estos cambios resultan en un aumento significativo de tokens por segundo (tg t/s) en la GPU Intel B70.