自定义 CUDA 代码在 RTX 5060 Ti 上以 50 tok/s 运行 Qwen3 30B A3B

一位用户开发了自定义的 CUDA 和 C++ 代码，能够在 RTX 5060 Ti（配备 16 GB VRAM）上使用 float8 精度以每秒 50-54 个 token 的速度运行 Qwen3-30B-A3B 模型。

• 该实现相比 llama.cpp 实现了约 50% 的提速，后者在 n-cpu-moe 配置下速度约为 33-34 tok/s。
• 性能提升源于结合了 NeurIPS、ICML 和 EuroSys 论文中的前沿解决方案。
• 源代码可通过仓库获取。

作者认为，此类引擎为消费者级硬件上的本地推理提供了新机会，为集中式数据中心提供了更私密、更便宜且更环保的替代方案。