Un utilisateur de Reddit demande une configuration VLLM prête pour la production destinée au modèle Qwen 2.5-27B après avoir subi une dégradation significative des performances avec les safetensors FP8.
L'utilisateur signale que l'utilisation des poids FP8 entraîne une baisse des benchmarks de qualité d'environ 20 % par rapport aux variantes llama.cpp, en particulier sous des charges de forte concurrence.
Il demande à la communauté de partager ses configurations VLLM fonctionnelles afin de résoudre ces problèmes.