github vLLM · 1 小时前 · inference

vLLM v0.28.0rc2 添加了带有局部卷积和候选选择器的 DFlash2 Spec Decode

译自 English → 中文

vLLM 项目发布了 0.28.0rc2 版本，其中包括 DFlash2 推测解码功能。

重要性 1/3 可信度 2/3 vLLM Inference efficiency

llama.cpp 项目发布了版本 b10539，解决了 Vulkan 后端中的一个关键数值稳定性问题，同时扩展了 Windows 用户的硬件支持。

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。

llama.cpp 项目发布了构建版本 b10545，解决了 Metal 后端张量 API 矩阵乘法内核中的一个关键错误。该更新防止在处理 K 维度不是 32 的倍数的张量时出现未定义行为和损坏的结果。

llama.cpp 项目发布了构建版本 b10534，引入了特定于硬件的切换点，以在 CUDA 上的量化解码过程中调整向量路径与张量核心路径之间的交叉。

llama.cpp 项目发布了版本 b10538，在 metal 后端引入了关键优化。此更新仅针对大批量大小启用键值 (KV) 缓存的去量化。