Пользователь ищет конфигурацию vLLM для Qwen 2.5-27B для устранения падения производительности FP8

Пользователь Reddit запрашивает готовую к продакшену конфигурацию vLLM для модели Qwen 2.5-27B после значительного снижения производительности с FP8 safetensors.

Пользователь сообщает, что использование весов FP8 приводит к падению показателей бенчмарков качества почти на 20% по сравнению с вариантами llama.cpp, особенно под высокой конкурентной нагрузкой.

Он просит сообщество поделиться рабочими конфигурациями vLLM для решения этих проблем.