Usuário testa Qwen3, Qwen3.6 e Gemma4 na CPU Intel 285HX

Um usuário faz benchmarks do Llama.cpp com os modelos Qwen3, Qwen3.6 e Gemma4 em um mini-pc MS-02 equipado com processador Intel Core Ultra 285HX e 64 GB de RAM, observando a ausência de uma GPU dedicada.

• A inferência apenas com CPU gerou as maiores velocidades, atingindo até 16.5 tokens por segundo para Qwen3-30B-A3B-Instruct.
• O desempenho do backend SYCL variou de 8 a 12 tokens por segundo nos modelos testados.
• O backend Vulkan usando a GPU integrada foi significativamente mais lento, produzindo apenas de 0.5 a 4 tokens por segundo.

O usuário conclui que a execução apenas com CPU é atualmente a opção mais rápida para esta configuração específica de hardware e questiona por que o Vulkan teve um desempenho inferior em comparação ao SYCL.