← 返回 github vLLM · 1 小时前 · inference vLLM v0.25.1 修复了混合数据类型 allreduce RMSNorm 量化融合 译自 English → 中文 vLLM 项目发布了 0.25.1 版本,其中包括对混合数据类型 allreduce RMSNorm 量化融合的 bug 修复。 该更新解决了框架中混合数据类型 allreduce RMSNorm 量化融合的问题。 重要性 1/3 可信度 2/3 vLLM Inference efficiency 阅读原文