Pengguna menguji Qwen3, Qwen3.6, dan Gemma4 pada CPU Intel 285HX

Seorang pengguna melakukan benchmark Llama.cpp dengan model Qwen3, Qwen3.6, dan Gemma4 pada mini-pc MS-02 yang dilengkapi prosesor Intel Core Ultra 285HX dan RAM 64GB, mencatat tidak adanya GPU khusus.

• Inferensi hanya CPU menghasilkan kecepatan tertinggi, mencapai hingga 16,5 token per detik untuk Qwen3-30B-A3B-Instruct.
• Kinerja backend SYCL berkisar dari 8 hingga 12 token per detik di seluruh model yang diuji.
• Backend Vulkan menggunakan GPU terintegrasi jauh lebih lambat, hanya menghasilkan 0,5 hingga 4 token per detik.

Pengguna menyimpulkan bahwa eksekusi hanya CPU saat ini adalah opsi tercepat untuk konfigurasi perangkat keras spesifik ini dan mempertanyakan mengapa Vulkan berkinerja buruk dibandingkan SYCL.