एक डेवलपर ने Rust और CUDA का उपयोग करके बनाए गए कस्टम attention-transformer इंजन के विवरण जारी किए हैं, जिसमें निर्धारिता और ऊर्जा दक्षता पर ध्यान दिया गया है। सिस्टम एक ही stack पर inference और training दोनों को सपोर्ट करता है और H100, M2 Pro, consumer GPUs, और WebGPU सहित कई hardware backends पर चलता है।
- continuous batching का उपयोग करते हुए 28-लेयर 7B-class stack के साथ H100 NVL पर throughput लगभग 403 tok/s तक पहुंचता है।
- ऊर्जा खपत को ~254 W की मीडियन बोर्ड पावर के साथ 0.63 J/tok मापा गया है।
- इंजन bit-exact है, AUDIT द्वारा सत्यापित, और GAE, ATE, WNSM, और reversible training तकनीकों का उपयोग करता है।
पूर्ण benchmarks और विधियां डेवलपर की साइट पर उपलब्ध हैं, जिसमें इस महीने पैटेंट जारी होने के बाद dual license के तहत open-source release की योजना है।