一位用户报告称在Intel Arrow Lake集成显卡上对Llama.cpp进行了基准测试,发现SYCL在GPU后端中提供了最佳性能,而Vulkan几乎无效。

  • Vulkan支持被描述为损坏或极慢,在Qwen3.6模型上仅达到0.5 tok/s,在Gemma-4上达到4 tok/s。
  • SYCL以8-12 tok/s的速度运行Qwen3.6 35B模型,预填充速度约为20 tok/s,但存在冻结等稳定性问题。
  • 纯CPU执行仍然是最一致的选项,在同一硬件上提供14 tok/s的生成速度和30-40 tok/s的预填充速度。

结果表明,虽然SYCL可以利用集成显卡,但目前它相比CPU推理仅提供微小的提升,并且存在可靠性问题。