Atualizações recentes do llama.cpp introduzem várias melhorias para hardware SYCL/Intel, incluindo aumentos de desempenho e suporte a novos recursos.

  • Flash Attention com o motor XMX via API de gráfico oneDNN agora está disponível para arquiteturas Xe2, acelerando significativamente as velocidades de prefill para modelos como Qwen3.6-27b-Q8_0.
  • A base de código agora suporta o tipo de operação XIELU e adiciona suporte fp16 para o kernel conv2d_dw.
  • As correções incluem aumentar o tamanho mínimo do buffer para alocações USM do sistema e corrigir erros nas operações get_rows para as quantizações Q2_K, Q4_K e Q5_K.

Essas alterações melhoram a compatibilidade e o desempenho para usuários executando llama.cpp em GPUs Intel usando o backend SYCL.