llama.cpp 项目发布了构建版本 b10896，解决了一个关键问题：在使用 DFlash 处理视觉模型时，草稿内存无法分配新令牌。该故障发生的原因是图像报告了固定偏移量，导致无法正确分配令牌。
- 修复措施停止复制图像偏移量，允许草稿继续解码。
- M-RoPE 跳过仅限于图像，允许音频无变化地通过。
- 注释已清理以符合更新后的实现逻辑。
此更新通过解决由图像元数据处理引起的内存分配错误，确保 DFlash 的推测性解码在多模态模型中正确运行。
github
llama.cpp
·
刚刚
·
inference
llama.cpp b10896 修复了视觉模型使用 DFlash 解码失败的问题
译自 English → 中文
相关文章
github
llama.cpp
·
2 天前
·
2 次浏览
llama.cpp 默认在集成 GPU 上禁用惰性张量加载
llama.cpp 项目在 b10867 版本中默认禁用了集成 GPU (iGPU) 的惰性张量加载。此更改解决了先前 "AUTO" 惰性模式设置中引入的回归问题。
github
llama.cpp
·
2 天前
·
4 次浏览
llama.cpp b10864 修复了混合模型的检查点驱逐问题
llama.cpp 项目发布了构建版本 b10864，其中包含对 `create_checkpoint()` 中检查点间隔驱逐逻辑的修复。此前，驱逐规则保留了最旧的检查点并删除了 `checkpoint_min_step` 内的后续检查点，导致短于该阈值的提示词丢失了恢复所需的检查点。这迫使混合模型和循环模型不必要地从前一个检查点重新预填充。
github
llama.cpp
·
3 天前
·
6 次浏览
llama.cpp b10844 为 Vulkan 添加 DeepSeek-V4 超连接融合操作
llama.cpp 项目发布了 b10844 版本，在 Vulkan 后端引入了对 DeepSeek-V4 超连接融合操作（DSV4_HC_COMB/PRE/POST）的支持。此次更新使 Vulkan 在这些特定优化方面与 CUDA 和 Metal 持平。
github
llama.cpp
·
3 天前
·
5 次浏览
llama.cpp b10842 添加了对 gfx90c HIP 的支持
llama.cpp 项目发布了构建版本 b10842，通过 HIP 引入了对 gfx90c 架构的支持。
media
Hugging Face Forums
·
3 天前
·
9 次浏览
AI Model Radar 启动，为开源模型提供精确的硬件适配
一个名为 AI Model Radar 的新网站帮助用户确定哪些开源模型真正适合他们的 GPU 或 Mac，它使用测量数据而非估算。该平台基于真实发布的 GGUF 文件计算权重大小，并根据模型配置逐层计算上下文缓存。