← 返回 github vLLM · 1 小时前 · inference vLLM v0.25.0rc2 修复了 Transformers 后端中的嵌入缩放和 CUDA 图问题 译自 English → 中文 vLLM 项目发布了版本 0.25.0rc2,解决了 Transformers 建模后端中的特定问题。 修复了嵌入缩放问题。解决了 CUDA 图的问题。 重要性 1/3 可信度 2/3 vLLM Inference efficiency 阅读原文