يطلب مستخدم على رديت تكوين VLLM جاهز للإنتاج لنموذج Qwen 2.5-27B بعد تجربة تدهور كبير في الأداء مع ملفات safetensors بصيغة FP8.
ويبلغ المستخدم أن استخدام أوزان FP8 يؤدي إلى انخفاض في نتائج الاختبارات المعيارية للجودة بنسبة تقارب 20% مقارنة بمتغيرات llama.cpp، خاصة تحت أحمال عالية من العمليات المتزامنة.
وهو يطلب من المجتمع مشاركة تكوينات VLLM الناجحة لديه لحل هذه المشكلات.