Qualcomm lance GenieX pour exécuter des LLM sur les ordinateurs portables Windows

Qualcomm a lancé GenieX, un nouveau SDK conçu pour permettre l'exécution de grands modèles de langage sur les ordinateurs portables Windows équipés de puces Qualcomm. L'outil prend en charge l'exécution de modèles via des backends CPU, GPU ou NPU.

• Les utilisateurs rapportent avoir atteint 20 tokens par seconde avec Gemma 4 26B A4B et 10 tokens par seconde avec Qwen 3.6 27B MTP sur le GPU.
• Le SDK permet la compatibilité avec llama.cpp en prenant en charge tout modèle GGUF Q4_0 sur le matériel CPU, GPU et NPU.

Cette version vise à aider Qualcomm à rattraper les autres grands fabricants de puces dans la fourniture de kits de développement logiciel robustes pour l'inférence d'IA locale.