Qualcomm ने GenieX लॉन्च किया है, एक नया SDK जो Qualcomm चिप्स से लैस Windows लैपटॉप पर बड़े भाषा मॉडल (LLMs) को चलाने के लिए डिज़ाइन किया गया है। यह टूल CPU, GPU, या NPU बैकएंड्स के माध्यम से मॉडल चलाने का समर्थन करता है।
- उपयोगकर्ताओं ने GPU पर Gemma 4 26B A4B के साथ प्रति सेकंड 20 टोकन और Qwen 3.6 27B MTP के साथ प्रति सेकंड 10 टोकन हासिल करने की रिपोर्ट की है।
- SDK CPU, GPU, और NPU हार्डवेयर पर किसी भी Q4_0 GGUF मॉडल का समर्थन करके llama.cpp के साथ संगतता की अनुमति देता है।
यह रिलीस स्थानीय AI इनफरेंस के लिए मजबूत सॉफ़्टवेयर डेवलपमेंट किट प्रदान करने में अन्य प्रमुख चिप निर्माताओं के बराबर होने में Qualcomm की मदद करने के उद्देश्य से है।