Un attention-transformer personnalisé Rust + CUDA atteint 0.63 J/token sur H100

Un développeur a publié les détails d'un moteur attention-transformer personnalisé construit avec Rust et CUDA, en mettant l'accent sur la déterminisme et l'efficacité énergétique. Le système prend en charge à la fois l'inférence et l'entraînement sur la même pile et s'exécute sur plusieurs backends matériels, notamment H100, M2 Pro, GPU grand public et WebGPU.

• Le débit atteint environ 403 tokens/seconde sur un H100 NVL avec une pile de classe 7B à 28 couches utilisant le batching continu.
• La consommation d'énergie est mesurée à 0.63 J/token avec une puissance moyenne de la carte d'environ 254 W.
• Le moteur est bit-exact, vérifié par AUDIT, et utilise des techniques GAE, ATE, WNSM et l'entraînement réversible.

Les benchmarks complets et les méthodes sont disponibles sur le site du développeur, avec une publication open-source prévue après la délivrance du brevet ce mois-ci sous une licence double.