Seorang pengguna Reddit meminta konfigurasi VLLM yang siap produksi untuk model Qwen 2.5-27B setelah mengalami penurunan kinerja signifikan dengan safetensors FP8.
Pengguna melaporkan bahwa penggunaan bobot FP8 menyebabkan penurunan benchmark kualitas hampir 20% dibandingkan varian llama.cpp, terutama di bawah beban konkurensi tinggi.
Mereka meminta komunitas untuk berbagi konfigurasi VLLM mereka yang berfungsi guna menyelesaikan masalah ini.