Le projet llama.cpp a publié la version b9901, qui inclut des mises à jour spécifiques pour le backend SYCL afin d'améliorer les performances sur le matériel Intel. La release fournit des binaires pour macOS, Linux, Windows, Android et openEuler sur les backends CPU, CUDA, ROCm, Vulkan et autres.
- Définit K_QUANTS_PER_ITERATION à 1 sur le chemin DMMV pour améliorer l'utilisation du GPU.
- Corrige le gate ggml_sycl_supports_reorder_dmmv pour activer la fonctionnalité de réordonnancement.
- Ajoute les types manquants à ggml_backend_sycl_buffer_init_tensor pour garantir une allocation correcte.
- Remplace QK_WARP_SIZE par WARP_SIZE pour QK_5 dans les opérations SYCL.
Ces modifications entraînent une augmentation significative des tokens par seconde (tg t/s) sur le GPU Intel B70.