أبلغ مستخدم عن مشاكل موثوقية شديدة عند تشغيل Qwen3.6-27B مع كميّات NVFP4 و FP8 الرسمية من NVIDIA في سير العمل الوكيل، مما يتناقض مع الأداء المثالي في الأساس BF16.

  • يُظهر النموذج توقفًا أثناء المهمة وحلقات فشل على وحدة معالجة رسومات RTX PRO 6000 Blackwell باستخدام vLLM 0.24.0.
  • فشل زيادة عقوبة التكرار في كسر الحلقات، مما تسبب في تبديل النموذج بين عبارتي فشل مختلفتين بدلاً من تكرار عبارة واحدة.
  • يُظهر الكمي NVFP4 تدهورًا أكثر تكرارًا بشكل ملحوظ مقارنة بـ FP8، بينما يظل BF16 دون تأثير.

يسعى المؤلف إلى تأكيد ما إذا كانت هذه المشاكل آثارًا معروفة للكمّ منخفض البت للنماذج المفكرة، أو ما إذا كانت تعديلات تكوين vLLM المحددة يمكن أن تحلها.