एक रेडिट उपयोगकर्ता ने FP8 safetensors के साथ महत्वपूर्ण प्रदर्शन ह्रास का अनुभव करने के बाद Qwen 2.5-27B मॉडल के लिए उत्पादन-तैयार VLLM कॉन्फ़िगरेशन का अनुरोध कर रहा है।
उपयोगकर्ता की रिपोर्ट के अनुसार, FP8 वजन का उपयोग करने से llama.cpp वेरिएंट्स की तुलना में गुणवत्ता बेंचमार्क में लगभग 20% की गिरावट आती है, विशेष रूप से उच्च संवहन लोड के तहत।
वे इन समस्याओं को हल करने के लिए अपने काम कर रहे VLLM कॉन्फ़िगरेशन साझा करने के लिए समुदाय से अनुरोध कर रहे हैं।