vLLM — korshunov.ai — ML 新闻

来源 · vLLM

github vLLM · 12 天前 · 16 次浏览

v0.30.0rc2 修复了 NIXL 对仅通知请求的接收报告

v0.30.0rc2 版本包含一项针对 NIXL 的错误修复，以避免为仅通知请求生成接收报告。

github vLLM · 22 天前 · 29 次浏览

vLLM v0.29.0 将密集前缀缓存默认应用于混合模型

vLLM 项目发布了 0.29.0 版本，其中包括关于密集前缀缓存的核心错误修复。

github vLLM · 23 天前 · 18 次浏览

v0.29.0rc5 将 Mamba 的 prefix_cache_retention_interval 默认值更改为 dense

v0.29.0rc5 版本将 `prefix_cache_retention_interval` 参数的默认值更新为 `dense`，专门针对 Mamba 模型。

github vLLM · 28 天前 · 29 次浏览

v0.29.0rc2 修复了 SHM 工作进程缓存中前缀覆盖项的问题

v0.29.0rc2 版本包含对 SHM 工作进程缓存的错误修复，以正确处理前缀覆盖项。