Transformer-attention Rust + CUDA kustom mencapai 0.63 J/token di H100

Seorang pengembang telah merilis detail mesin attention-transformer kustom yang dibangun dengan Rust dan CUDA, dengan fokus pada determinisme dan efisiensi energi. Sistem ini mendukung inferensi dan pelatihan pada tumpukan yang sama dan berjalan di berbagai backend perangkat keras termasuk H100, M2 Pro, GPU konsumen, dan WebGPU.

• Throughput mencapai sekitar 403 token/detik di H100 NVL dengan tumpukan kelas 7B berlapis 28 menggunakan batching kontinu.
• Konsumsi energi diukur sebesar 0.63 J/token dengan daya papan median sekitar 254 W.
• Mesin ini eksak-bit, diverifikasi oleh AUDIT, dan memanfaatkan teknik GAE, ATE, WNSM, dan pelatihan reversibel.

Benchmark lengkap dan metodenya tersedia di situs pengembang, dengan rilis sumber terbuka yang direncanakan setelah penerbitan paten bulan ini di bawah lisensi ganda.