La versión llama.cpp b10016 introduce soporte para SYCL en Flash Attention utilizando el motor XMX a través de la API de gráficos de oneDNN. Esta actualización está dirigida principalmente al hardware Intel Battlemage (Xe2), reduciendo el alcance de la función a esta arquitectura mientras que otras arquitecturas retroceden a los núcleos existentes.
- Flash Attention F16 proporciona una aceleración de prellenado de 1.21x para Qwen3.6-27b-Q8_0 con longitud de secuencia 512 y una aceleración de 4.26x en 80k.
- Las pruebas en Meta-Llama-3.1-8B-Instruct muestran un aumento del 32% en el rendimiento de prellenado con solo una diferencia del 0.11% en la perplejidad.
- La implementación incluye un gate Battlemage, sincronización multi-dispositivo para el manejo de flujos y correcciones para problemas de sincronización multi-GPU.
Este cambio permite una inferencia más rápida en GPUs compatibles con Intel aprovechando las capacidades de aceleración específicas del hardware.