一位 Reddit 用户在经历 FP8 safetensors 显著性能下降后，请求为 Qwen 2.5-27B 模型提供生产就绪的 vLLM 配置。
该用户报告称，与 llama.cpp 变体相比，使用 FP8 权重导致质量基准测试下降近 20%，特别是在高并发负载下。
他们正在请求社区分享他们的工作 vLLM 配置以解决这些问题。
用户寻求 Qwen 2.5-27B 的 vLLM 配置以修复 FP8 性能下降
译自 English → 中文
一位 Reddit 用户在经历 FP8 safetensors 显著性能下降后，请求为 Qwen 2.5-27B 模型提供生产就绪的 vLLM 配置。
该用户报告称，与 llama.cpp 变体相比，使用 FP8 权重导致质量基准测试下降近 20%，特别是在高并发负载下。
他们正在请求社区分享他们的工作 vLLM 配置以解决这些问题。