github llama.cpp · 2 小时前 · inference

llama.cpp b10598 使用 pillow-accurate 缩放算法并修正所有模型的 resize_algo

译自 English → 中文

llama.cpp 项目发布了构建版本 b10598，该版本更新 mtmd 模块以使用 pillow-accurate 缩放算法，并修正了所有模型的 resize_algo。此版本还包含速度优化。

此更新确保在 mtmd 模块中进行更准确的图像缩放，并提高在 macOS、iOS、Linux、Windows、Android 和 openEuler 上运行 llama.cpp 用户的性能。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了构建版本 b10593，解决了与 DeepseekV4 模型架构相关的关键问题。此次更新特别解决了在多重序列处理期间发生的回滚失败问题。

llama.cpp 项目发布了构建版本 b10584，解决了一个关键问题：草稿上下文大小与目标上下文不匹配，导致服务器请求因 500 错误而失败。

llama.cpp 项目发布了构建版本 b10568，该版本更新了模型处理以使用 `ggml_rope_set_offset()` 函数。此更改部分应用于支持 DeepSeek 2。

Celestium Engine 引入了多项升级，以改善低显存硬件上的 SDXL 性能。这些更改侧重于内存管理、稳定性和回退机制，以确保在受限系统上也能保持一致的生成效果。

llama.cpp 项目发布了构建版本 b10541，引入了 `--mmproj-device` 命令行参数，允许用户指定用于加载多模态投影文件的设备后端。