Qualcomm meluncurkan GenieX untuk menjalankan LLM di laptop Windows

Qualcomm telah meluncurkan GenieX, sebuah SDK baru yang dirancang untuk memungkinkan eksekusi model bahasa besar pada laptop Windows yang dilengkapi dengan chip Qualcomm. Alat ini mendukung menjalankan model melalui backend CPU, GPU, atau NPU.

• Pengguna melaporkan mencapai 20 token per detik dengan Gemma 4 26B A4B dan 10 token per detik dengan Qwen 3.6 27B MTP pada GPU.
• SDK ini memungkinkan kompatibilitas dengan llama.cpp dengan mendukung setiap model GGUF Q4_0 di perangkat keras CPU, GPU, dan NPU.

Rilis ini bertujuan untuk membantu Qualcomm mengejar ketinggalan dari pembuat chip utama lainnya dalam menyediakan kit pengembangan perangkat lunak yang kuat untuk inferensi AI lokal.