قام مستخدم بتطوير كود مخصص لـ CUDA و C++ يتيح تشغيل نموذج Qwen3-30B-A3B بسرعة تتراوح بين 50 إلى 54 توكن في الثانية على بطاقة RTX 5060 Ti المزودة بذاكرة VRAM سعة 16 جيجابايت باستخدام دقة float8.

  • يحقق التنفيذ تحسينًا في السرعة بنسبة حوالي 50% مقارنة بـ llama.cpp، الذي يعمل بسرعة تقارب 33-34 توكن/ثانية مع n-cpu-moe.
  • تستمد مكاسب الأداء من الجمع بين أحدث الحلول الموجودة في أوراق مؤتمرات NeurIPS و ICML و EuroSys.
  • يتوفر الكود المصدري عبر المستودع.

يشير المؤلف إلى أن مثل هذه المحركات توفر فرصًا جديدة للاستدلال المحلي على الأجهزة الاستهلاكية، مما يقدم بديلًا أكثر خصوصية وأرخص تكلفة وأكثر صداقة للبيئة مقارنة بمراكز البيانات المركزية.