Un usuario realiza benchmarks de Llama.cpp con los modelos Qwen3, Qwen3.6 y Gemma4 en un mini-pc MS-02 equipado con un procesador Intel Core Ultra 285HX y 64 GB de RAM, señalando la ausencia de una GPU dedicada.

  • La inferencia solo con CPU obtuvo las velocidades más altas, alcanzando hasta 16.5 tokens por segundo para Qwen3-30B-A3B-Instruct.
  • El rendimiento del backend SYCL osciló entre 8 y 12 tokens por segundo en los modelos probados.
  • El backend Vulkan que usa la GPU integrada fue significativamente más lento, produciendo solo de 0.5 a 4 tokens por segundo.

El usuario concluye que la ejecución solo con CPU es actualmente la opción más rápida para esta configuración de hardware específica y cuestiona por qué Vulkan tuvo un rendimiento inferior en comparación con SYCL.