Les récentes mises à jour de llama.cpp introduisent plusieurs améliorations pour le matériel SYCL/Intel, notamment des gains de performance et un nouveau support de fonctionnalités.

  • Flash Attention avec le moteur XMX via l'API graphique oneDNN est désormais disponible pour les architectures Xe2, accélérant considérablement les vitesses de préremplissage pour des modèles comme Qwen3.6-27b-Q8_0.
  • La base de code prend désormais en charge le type d'opération XIELU et ajoute le support fp16 pour le noyau conv2d_dw.
  • Les corrections incluent l'augmentation de la taille minimale du tampon pour les allocations système USM et la correction des erreurs dans les opérations get_rows pour les quantifications Q2_K, Q4_K et Q5_K.

Ces modifications améliorent la compatibilité et les performances pour les utilisateurs exécutant llama.cpp sur des GPU Intel en utilisant le backend SYCL.