llama.cpp b10016 릴리스는 oneDNN 그래프 API를 통해 XMX 엔진을 사용하여 Flash Attention에 대한 SYCL 지원을 도입합니다. 이 업데이트는 주로 Intel Battlemage (Xe2) 하드웨어를 대상으로 하며, 다른 아키텍처는 기존 커널로 폴백하는 동안 이 기능의 범위를 해당 아키텍처로 좁히고 있습니다.

  • F16 Flash Attention은 시퀀스 길이 512에서 Qwen3.6-27b-Q8_0에 대해 1.21x의 prefill 속도 향상과 80k에서 4.26x의 속도 향상을 제공합니다.
  • Meta-Llama-3.1-8B-Instruct에 대한 벤치마크는 퍼플렉시티가 0.11%만 차이 나는 동안 prefill 성능이 32% 증가했음을 보여줍니다.
  • 구현에는 Battlemage 게이트, 스트림 처리를 위한 멀티 디바이스 동기화 및 멀티 GPU 동기화 문제 수정이 포함됩니다.

이 변경은 하드웨어별 가속 기능을 활용하여 호환되는 Intel GPU에서 더 빠른 추론을 가능하게 합니다.