github llama.cpp · 2 小时前 · inference

mtmd 通过 ffmpeg 添加对 WebP 的支持

译自 English → 中文

llama.cpp 中的 mtmd 组件现在通过集成 ffmpeg 支持 WebP 图像格式。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

llama.cpp 项目已发布 0.2.0 版本，其中 ggml 库同步升级至 0.21.0。此次更新引入了多项后端改进，并在各种硬件平台上增加了新功能。

Celestium Engine 引入了多项升级，以改善低显存硬件上的 SDXL 性能。这些更改侧重于内存管理、稳定性和回退机制，以确保在受限系统上也能保持一致的生成效果。

llama.cpp 项目发布了版本 b10549，主要引入了对 LFM2 和 LFM2MOE 模型中张量拆分的支持。

vLLM 项目发布了 0.28.0rc2 版本，其中包括 DFlash2 推测解码功能。