Qualcomm lanza GenieX para ejecutar LLM en portátiles Windows

Qualcomm ha lanzado GenieX, un nuevo SDK diseñado para permitir la ejecución de modelos de lenguaje grande en portátiles Windows equipados con chips Qualcomm. La herramienta soporta la ejecución de modelos a través de backends de CPU, GPU o NPU.

• Los usuarios reportan alcanzar 20 tokens por segundo con Gemma 4 26B A4B y 10 tokens por segundo con Qwen 3.6 27B MTP en la GPU.
• El SDK permite compatibilidad con llama.cpp al soportar cualquier modelo GGUF Q4_0 a través de hardware CPU, GPU y NPU.

Este lanzamiento tiene como objetivo ayudar a Qualcomm a ponerse al día con otros grandes fabricantes de chips en proporcionar kits de desarrollo de software robustos para inferencia de IA local.