يُظهر مستخدم تشغيل نموذج GLM 5.2 على إعداد عتادي مخصص يتكون من أربع بطاقات GB10 GPUs متصلة عبر مفتاح 100G، محققاً طول سياق يقارب 330k وسرعة توليد تبلغ حوالي 25 رمزاً في الثانية.
- يستخدم التكوين TP4+DCP2 لحوض KV يقارب 360k، مع بلوغ سرعات الحشو 900-1000 ت/ث على المطالبات الأطول.
- يمدد استخدام DCP4 السياق إلى 660k لكنه يقلل سرعة الحشو إلى حوالي 400 ت/ث، بينما يؤدي خفض DCP إلى رفع الحشو إلى حوالي 750 ت/ث.
- تختلف أداءات فك التشفير حسب نوع المحتوى: تحصل مهام التفكير على حوالي 20 رمزاً/ث، والكود يحصل على 25-35 رمزاً/ث، والدورات النموذجية في Pi تحقق حوالي 24 رمزاً/ث.
- قد يسمح تقليم النموذج بنسبة 5-10% بحصول سياق يصل إلى 1M أو تزامن أعلى، رغم أن التقليم الخالي من البيانات بنسبة 10% أظهر فقداناً لبعض الالتزام بالتعليمات على الرغم من الحفاظ على القدرة البرمجية.
- بلغت التكلفة العتادية الإجمالية حوالي 16 ألف دولار، مع مكونات تشمل جهازين Acer GN100s، وجهازين Asus GX10s، ومفتاح Mikrotik CRS504.
يلاحظ المؤلف أن هذا الإعداد ليس أمثل من الناحية المالية للاستخدام العام، لكنه بديل قابل للتطبيق لتشغيل GLM محلياً على Mac Studio بسعة 512GB، والذي حقق فقط فك تشفير بسرعة 12 رمزاً/ث.