Un usuario prueba Llama.cpp en iGPU de Intel: SYCL supera a Vulkan

Un usuario informa de pruebas de rendimiento de Llama.cpp con una iGPU Intel Arrow Lake, encontrando que SYCL ofrece el mejor rendimiento entre los backends de GPU, mientras que Vulkan es en gran medida ineficaz.

• El soporte de Vulkan se describe como roto o extremadamente lento, logrando solo 0.5 tok/s en modelos Qwen3.6 y 4 tok/s en Gemma-4.
• SYCL ejecuta modelos Qwen3.6 35B a 8-12 tok/s, con velocidades de prefill alrededor de 20 tok/s, aunque surgen problemas de estabilidad como congelamientos.
• La ejecución solo en CPU sigue siendo la opción más consistente, entregando 14 tok/s para generación y 30-40 tok/s para prefill en el mismo hardware.

Los resultados sugieren que, aunque SYCL puede utilizar la iGPU, actualmente ofrece solo ganancias marginales sobre la inferencia en CPU y sufre de problemas de fiabilidad.