Пользовательский CUDA-код запускает Qwen3 30B A3B со скоростью 50 ток/с на RTX 5060 Ti

Пользователь разработал собственный код на CUDA и C++, позволяющий запускать модель Qwen3-30B-A3B со скоростью 50–54 токенов в секунду на видеокарте RTX 5060 Ti с 16 ГБ VRAM при использовании точности float8.

• Реализация обеспечивает примерно 50% ускорение по сравнению с llama.cpp, который работает со скоростью около 33–34 ток/с с параметром n-cpu-moe.
• Прирост производительности достигается за счет комбинации передовых решений, представленных в статьях конференций NeurIPS, ICML и EuroSys.
• Исходный код доступен через репозиторий.

Автор предполагает, что такие движки открывают новые возможности для локального вывода на потребительском оборудовании, предлагая более приватную, дешевую и экологичную альтернативу централизованным дата-центрам.