Código CUDA personalizado executa Qwen3 30B A3B a 50 tok/s na RTX 5060 Ti

Um usuário desenvolveu código personalizado em CUDA e C++ que permite executar o modelo Qwen3-30B-A3B a 50-54 tokens por segundo em uma RTX 5060 Ti com 16 GB de VRAM usando precisão float8.

• A implementação alcança uma melhoria de velocidade de aproximadamente 50% em relação ao llama.cpp, que roda a cerca de 33-34 tok/s com n-cpu-moe.
• Os ganhos de desempenho derivam da combinação de soluções de ponta encontradas em artigos do NeurIPS, ICML e EuroSys.
• O código-fonte está disponível via repositório.

O autor sugere que tais motores proporcionam novas oportunidades de inferência local em hardware de consumo, oferecendo uma alternativa mais privada, barata e ecológica aos datacenters centralizados.