Pengguna menguji Llama.cpp pada iGPU Intel: SYCL mengungguli Vulkan

Seorang pengguna melaporkan melakukan benchmarking Llama.cpp dengan iGPU Intel Arrow Lake, menemukan bahwa SYCL memberikan kinerja terbaik di antara backend GPU sementara Vulkan sebagian besar tidak efektif.

• Dukungan Vulkan digambarkan rusak atau sangat lambat, hanya mencapai 0,5 tok/s pada model Qwen3.6 dan 4 tok/s pada Gemma-4.
• SYCL menjalankan model Qwen3.6 35B pada 8-12 tok/s, dengan kecepatan prefill sekitar 20 tok/s, meskipun terjadi masalah stabilitas seperti membeku.
• Eksekusi hanya-CPU tetap menjadi opsi paling konsisten, memberikan 14 tok/s untuk generasi dan 30-40 tok/s untuk prefill pada perangkat keras yang sama.

Hasil ini menunjukkan bahwa meskipun SYCL dapat memanfaatkan iGPU, saat ini hanya menawarkan peningkatan marginal dibandingkan inferensi CPU dan mengalami masalah keandalan.