Un utilisateur teste Llama.cpp sur une iGPU Intel : SYCL surpasse Vulkan

Un utilisateur rapporte avoir benchmarké Llama.cpp avec une iGPU Intel Arrow Lake, constatant que SYCL offre les meilleures performances parmi les backends GPU tandis que Vulkan est largement inefficace.

• Le support de Vulkan est décrit comme cassé ou extrêmement lent, atteignant seulement 0,5 tok/s sur les modèles Qwen3.6 et 4 tok/s sur Gemma-4.
• SYCL exécute les modèles Qwen3.6 35B à 8-12 tok/s, avec des vitesses de préremplissage (prefill) d'environ 20 tok/s, bien que des problèmes de stabilité comme des blocages se produisent.
• L'exécution uniquement sur CPU reste l'option la plus cohérente, offrant 14 tok/s pour la génération et 30-40 tok/s pour le préremplissage sur le même matériel.

Les résultats suggèrent que bien que SYCL puisse utiliser la iGPU, il offre actuellement des gains marginaux par rapport à l'inférence CPU et souffre de problèmes de fiabilité.