Las actualizaciones recientes de llama.cpp introducen varias mejoras para el hardware SYCL/Intel, incluyendo aumentos de rendimiento y soporte de nuevas funciones.

  • Flash Attention con el motor XMX a través de la API de gráficos oneDNN ya está disponible para arquitecturas Xe2, acelerando significativamente las velocidades de prellenado para modelos como Qwen3.6-27b-Q8_0.
  • La base de código ahora soporta el tipo de operación XIELU y añade soporte fp16 para el kernel conv2d_dw.
  • Las correcciones incluyen aumentar el tamaño mínimo del búfer para asignaciones USM del sistema y corregir errores en las operaciones get_rows para las cuantizaciones Q2_K, Q4_K y Q5_K.

Estos cambios mejoran la compatibilidad y el rendimiento para los usuarios que ejecutan llama.cpp en GPUs Intel utilizando el backend SYCL.