Transformer de atenção personalizado com Rust + CUDA atinge 0.63 J/tok no H100

Um desenvolvedor publicou detalhes de um motor transformer de atenção personalizado construído com Rust e CUDA, focado em determinismo e eficiência energética. O sistema suporta tanto inferência quanto treinamento na mesma stack e roda em múltiplos backends de hardware incluindo H100, M2 Pro, GPUs de consumo e WebGPU.

• A throughput atinge aproximadamente 403 tokens/segundo em um H100 NVL com uma stack de 7B classes de 28 camadas usando batching contínuo.
• O consumo de energia é medido em 0.63 J/tok com uma potência média da placa de ~254 W.
• O motor é bit-exact, verificado pelo AUDIT, e utiliza técnicas de GAE, ATE, WNSM e treinamento reversível.

Os benchmarks completos e os métodos estão disponíveis no site do desenvolvedor, com lançamento open-source planejado após a emissão da patente neste mês sob uma licença dual.