한 레딧 사용자는 FP8 safetensors로 인해 심각한 성능 저하를 경험한 후 Qwen 2.5-27B 모델에 대한 프로덕션 준비된 VLLM 구성을 요청하고 있습니다.

사용자는 FP8 가중치를 사용할 경우 고동시성 부하 하에서 특히 llama.cpp 변형과 비교하여 품질 벤치마크가 거의 20% 하락한다고 보고합니다.

그들은 이러한 문제를 해결하기 위해 작동하는 VLLM 구성을 공유해 줄 것을 커뮤니티에 요청하고 있습니다.