توضح المقالة تشغيل نموذج Qwen3.6-35B-A3B باستخدام بطاقتي NVIDIA P102-100 للرسومات، والتي تكلف حوالي 100 دولار معًا. يوفر هذا الإعداد 20 جيجابايت من ذاكرة الفيديو (VRAM) وعرض نطاق ترددي للذاكرة يبلغ 448 جيجابايت/ثانية.
- يدعم النظام 3 مستخدمين متزامنين بنوافذ سياق تصل إلى 32768 رمزًا.
- بلغت سرعات الاستنتاج حوالي 23.5 رمزًا في الثانية أثناء الاختبار.
- تستخدم التكوين llama.cpp لإدارة تحميل النموذج وتخصيص الفتحات عبر بطاقتي GPU.
توفر هذه النهج بديلاً منخفض التكلفة لتشغيل نماذج اللغة الكبيرة محليًا، مما يوفر سرعة وسعة سياق أفضل من البطاقات الأرخص ذات الذاكرة الأقل.