Un usuario de Reddit solicita una configuración de VLLM lista para producción del modelo Qwen 2.5-27B tras experimentar una degradación significativa del rendimiento con safetensors FP8.
El usuario informa que usar pesos FP8 provoca caídas en las métricas de calidad de casi el 20% en comparación con las variantes de llama.cpp, especialmente bajo cargas de alta concurrencia.
Está pidiendo a la comunidad que comparta sus configuraciones de VLLM funcionales para resolver estos problemas.