La version b10016 de llama.cpp introduit le support SYCL pour Flash Attention en utilisant le moteur XMX via l'API graphique oneDNN. Cette mise à jour cible principalement le matériel Intel Battlemage (Xe2), réduisant la portée de la fonctionnalité à cette architecture tandis que les autres architectures reviennent aux noyaux existants.

  • Flash Attention F16 offre une accélération du préremplissage de 1,21x pour Qwen3.6-27b-Q8_0 à une longueur de séquence de 512 et une accélération de 4,26x à 80k.
  • Les benchmarks sur Meta-Llama-3.1-8B-Instruct montrent une augmentation de 32 % des performances de préremplissage avec seulement une différence de perplexité de 0,11 %.
  • L'implémentation comprend une porte Battlemage, une synchronisation multi-périphériques pour la gestion des flux et des correctifs pour les problèmes de synchronisation multi-GPU.

Ce changement permet une inférence plus rapide sur les GPU Intel compatibles en exploitant les capacités d'accélération spécifiques au matériel.