एक उपयोगकर्ता ने कस्टम CUDA और C++ कोड विकसित किया है जो float8 प्रेसिजन का उपयोग करके 16 GB VRAM के साथ RTX 5060 Ti पर Qwen3-30B-A3B मॉडल को 50-54 टोकन प्रति सेकंड की गति से चलाने सक्षम बनाता है।
- इस कार्यान्वयन ने n-cpu-moe के साथ लगभग 33-34 tok/s पर चलने वाले llama.cpp की तुलना में लगभग 50% गति सुधार हासिल किया है।
- प्रदर्शन लाभ NeurIPS, ICML और EuroSys पेपर में पाए गए अत्याधुनिक समाधानों को जोड़ने से प्राप्त होते हैं।
- स्रोत कोड रिपॉजिटरी के माध्यम से उपलब्ध है।
लेखक सुझाव देते हैं कि ऐसे इंजन उपभोक्ता हार्डवेयर पर नए स्थानीय इनफरेंस अवसर प्रदान करते हैं, जो केंद्रीकृत डेटासेंटरों के लिए अधिक निजी, सस्ती और हरित विकल्प प्रस्तुत करते हैं।