Un usuario ha desarrollado código personalizado de CUDA y C++ que permite ejecutar el modelo Qwen3-30B-A3B a 50-54 tokens por segundo en una RTX 5060 Ti con 16 GB de VRAM usando precisión float8.

  • La implementación logra una mejora de velocidad de aproximadamente el 50% respecto a llama.cpp, que funciona a aproximadamente 33-34 tok/s con n-cpu-moe.
  • Las ganancias de rendimiento provienen de combinar soluciones de vanguardia encontradas en artículos de NeurIPS, ICML y EuroSys.
  • El código fuente está disponible a través del repositorio.

El autor sugiere que dichos motores proporcionan nuevas oportunidades de inferencia local en hardware de consumo, ofreciendo una alternativa más privada, económica y ecológica a los centros de datos centralizados.