GLM-5.2 على 8xB200: NVFP4 + 2x TP=4 يضاعف الإنتاجية مقارنة بـ FP8 TP=8

يكشف تحليل هندسي لنشر GLM-5.2 على عقد B200 الثمانية عن أن التكميم NVFP4 مع نسختين من TP=4 هو التكوين الأمثل، حيث يوفر تقريباً ضعف إنتاجية العقدة مقارنة بـ FP8 القياسي مع إعداد واحد لـ TP=8.

• GLM-5.2 هو نموذج MoE بحجم ~750B و~40B من المعاملات النشطة؛ تتطلب أوزان NVFP4 459 GB، مما يتسع ضمن تخصيص HBM البالغ 720 GB في B200 لتخزين KV.
• أظهرت الاختبارات باستخدام SGLang v0.5.12 أن NVFP4 TP=4 يحقق 4,116 tok/s/GPU عند التزامن 128، مقارنة بـ 1,947 tok/s/GPU لـ FP8 TP=8 عند التزامن 256.
• تنتج نسختان مستقلتان من TP=4 لكل عقدة إنتاجية إجمالية تبلغ ~33k tok/s مقابل ~15.6k لمحرك FP8 TP=8 واحد.
• يقلل NVFP4 التكلفة إلى حوالي $0.13/M على وحدات B200، وهو تحسن بنسبة ~3.5x مقارنة بإشارات H200 FP8.
• يجب على المستخدمين استخدام SGLang v0.5.13.post1+ لدعم NVFP4 وتجنب SGLang <=v0.5.9 بسبب تدهور الدقة في مسار flashmla_kv.

يعظم هذا التكوين كفاءة الأجهزة من خلال معالجة اختناقات النطاق الترددي الكامنة في فك تشفير MoE، على الرغم من أن احتقان الجدولة الواقعي قد يقلل من المكسب النظري البالغ 2x.