Un utilisateur a développé du code CUDA et C++ personnalisé permettant d'exécuter le modèle Qwen3-30B-A3B à 50-54 tokens par seconde sur une RTX 5060 Ti avec 16 Go de VRAM en utilisant la précision float8.

  • L'implémentation offre une amélioration de vitesse d'environ 50 % par rapport à llama.cpp, qui s'exécute à environ 33-34 tok/s avec n-cpu-moe.
  • Les gains de performance proviennent de la combinaison de solutions de pointe trouvées dans les articles NeurIPS, ICML et EuroSys.
  • Le code source est disponible via le dépôt.

L'auteur suggère que ces moteurs offrent de nouvelles opportunités d'inférence locale sur du matériel grand public, proposant une alternative plus privée, moins chère et plus écologique aux datacenters centralisés.