Usuário testa Llama.cpp em iGPU da Intel: SYCL supera Vulkan

Um usuário relata benchmarking do Llama.cpp com uma iGPU Intel Arrow Lake, descobrindo que o SYCL oferece o melhor desempenho entre os backends de GPU, enquanto o Vulkan é amplamente ineficaz.

• O suporte ao Vulkan é descrito como quebrado ou extremamente lento, atingindo apenas 0.5 tok/s em modelos Qwen3.6 e 4 tok/s no Gemma-4.
• O SYCL executa modelos Qwen3.6 35B a 8-12 tok/s, com velocidades de prefill em torno de 20 tok/s, embora ocorram problemas de estabilidade como congelamentos.
• A execução apenas na CPU permanece a opção mais consistente, entregando 14 tok/s para geração e 30-40 tok/s para prefill no mesmo hardware.

Os resultados sugerem que, embora o SYCL possa utilizar a iGPU, atualmente oferece apenas ganhos marginais em relação à inferência na CPU e sofre com problemas de confiabilidade.