O lançamento llama.cpp b10016 introduz suporte para SYCL no Flash Attention usando o motor XMX via API de gráficos do oneDNN. Esta atualização é direcionada principalmente ao hardware Intel Battlemage (Xe2), reduzindo o escopo do recurso a esta arquitetura, enquanto outras arquiteturas retornam aos kernels existentes.

  • Flash Attention F16 fornece um aumento de velocidade de prefill de 1.21x para Qwen3.6-27b-Q8_0 no comprimento de sequência 512 e um aumento de 4.26x em 80k.
  • Benchmarks no Meta-Llama-3.1-8B-Instruct mostram um aumento de 32% no desempenho de prefill com apenas uma diferença de 0.11% na perplexidade.
  • A implementação inclui um gate Battlemage, sincronização multi-dispositivo para manipulação de streams e correções para problemas de sincronização multi-GPU.

Esta alteração permite inferência mais rápida em GPUs compatíveis com Intel, aproveitando as capacidades de aceleração específicas do hardware.