Usuário busca configuração do VLLM para Qwen 2.5-27B para corrigir a queda de desempenho FP8

Um usuário do Reddit está solicitando uma configuração do VLLM pronta para produção para o modelo Qwen 2.5-27B após experimentar uma degradação significativa de desempenho com safetensors FP8.

O usuário relata que usar pesos FP8 resulta em quedas de quase 20% nas métricas de qualidade em comparação com as variantes do llama.cpp, especialmente sob cargas de alta concorrência.

Eles estão pedindo à comunidade que compartilhe suas configurações funcionais do VLLM para resolver esses problemas.