एक उपयोगकर्ता ने Intel Core Ultra 285HX प्रोसेसर और 64GB RAM से लैस MS-02 मिनी-पीसी पर Qwen3, Qwen3.6 और Gemma4 मॉडल के साथ Llama.cpp का बेंचमार्क किया, जिसमें समर्पित GPU की अनुपस्थिति को नोट किया गया।
- केवल CPU-इनफरेंस ने उच्चतम गति प्राप्त की, Qwen3-30B-A3B-Instruct के लिए प्रति सेकंड 16.5 टोकन तक पहुँच गया।
- SYCL बैकएंड का प्रदर्शन परीक्षण किए गए मॉडल में प्रति सेकंड 8 से 12 टोकन के बीच था।
- एकीकृत GPU का उपयोग करने वाला Vulkan बैकएंड काफी धीमा था, केवल प्रति सेकंड 0.5 से 4 टोकन उत्पन्न करता है।
उपयोगकर्ता निष्कर्ष निकालता है कि वर्तमान में इस विशिष्ट हार्डवेयर कॉन्फ़िगरेशन के लिए केवल CPU-एक्जीक्यूशन सबसे तेज़ विकल्प है और यह प्रश्न उठाता है कि SYCL की तुलना में Vulkan ने कमजोर प्रदर्शन क्यों किया।