Transformer de atención personalizado con Rust + CUDA alcanza 0.63 J/tok en H100

Un desarrollador ha publicado detalles de un motor transformer de atención personalizado construido con Rust y CUDA, centrado en la determinismo y eficiencia energética. El sistema soporta tanto inferencia como entrenamiento en el mismo stack y funciona en múltiples backends de hardware incluyendo H100, M2 Pro, GPUs de consumo y WebGPU.

• El throughput alcanza aproximadamente 403 tokens/segundo en un H100 NVL con un stack de 7B clases de 28 capas usando batching continuo.
• El consumo de energía se mide en 0.63 J/tok con una potencia media de placa de ~254 W.
• El motor es bit-exact, verificado por AUDIT, y utiliza técnicas de GAE, ATE, WNSM y entrenamiento reversible.

Los benchmarks completos y los métodos están disponibles en el sitio del desarrollador, con un lanzamiento open-source planeado después de la emisión de la patente este mes bajo una licencia dual.