自定义 Rust + CUDA attention-transformer 在 H100 上实现 0.63 J/tok

一名开发者发布了使用 Rust 和 CUDA 构建的自定义 attention-transformer 引擎的详细信息，重点在于确定性和能源效率。该系统在同一堆栈上支持推理和训练，并可在多种硬件后端上运行，包括 H100、M2 Pro、消费级 GPU 和 WebGPU。

• 在具有 28 层 7B 类堆栈并使用连续批处理的 H100 NVL 上，吞吐量达到约 403 tok/s。
• 能耗测量为 0.63 J/tok，中位板级功耗约为 254 W。
• 该引擎是 bit-exact 的，由 AUDIT 验证，并利用 GAE、ATE、WNSM 和可逆训练技术。

完整的基准测试和方法可在开发者网站上找到，计划在本月专利颁发后以双重许可证发布开源版本。