Un utilisateur a effectué des benchmarks de Llama.cpp avec les modèles Qwen3, Qwen3.6 et Gemma4 sur un mini-PC MS-02 équipé d'un processeur Intel Core Ultra 285HX et de 64 Go de RAM, notant l'absence de GPU dédié.
- L'inférence uniquement sur CPU a offert les vitesses les plus élevées, atteignant jusqu'à 16,5 tokens par seconde pour Qwen3-30B-A3B-Instruct.
- Les performances du backend SYCL ont varié de 8 à 12 tokens par seconde selon les modèles testés.
- Le backend Vulkan utilisant le GPU intégré était nettement plus lent, ne produisant que 0,5 à 4 tokens par seconde.
L'utilisateur conclut que l'exécution uniquement sur CPU est actuellement l'option la plus rapide pour cette configuration matérielle spécifique et s'interroge sur les raisons de la sous-performance de Vulkan par rapport à SYCL.