github llama.cpp · 1 小时前 · inference

llama.cpp b10085 通过对齐位置嵌入插值修复 Qwen3-VL 定位问题

译自 English → 中文

llama.cpp 项目发布了构建版本 b10085，其中包括对 Qwen3-VL 视觉模型的位置嵌入插值的修复，以解决定位坐标不匹配的问题。

该更改将插值方法从默认的双线性+抗锯齿（align_corners=False）切换为 align_corners=True，与 transformers 参考实现保持一致。
这修正了定位坐标的缩放问题，这些问题以前会随图像尺寸增大而增长，并且在非正方形图像中按轴变化。
二进制文件适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP）和 openEuler。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10069 为 Adreno MUL_MAT 添加 OpenCL 广播支持

llama.cpp 项目发布了构建版本 b10069，其中包括针对 Qualcomm Adreno GPU 的特定 OpenCL 更新。主要更改涉及支持 Adreno MUL_MAT 内核的广播操作，并尊重 Q8_0 MUL_MAT 变体的视图偏移量，以在 llama-server 中启用多流功能。

github llama.cpp · 4 天前 · 1 次浏览

llama.cpp b10068 为 DFlash 旋转注入的 K/V 缓存

llama.cpp 项目发布了版本 b10068，其中引入了对 DFlash 模型实现的更改。该更新修改了 src/models/dflash.cpp，以便在使用 K/V 量化时旋转注入的键/值 (K/V) 缓存。

github llama.cpp · 4 天前 · 1 次浏览

llama.cpp b10067 将 DeepSeek-V4 路由表排除在量化之外

llama.cpp 项目发布了 b10067 版本，其中包含对 `llama-quantize` 工具的修复，以正确处理 DeepSeek-V4 模型。该更新防止量化器尝试将 `ffn_gate_tid2eid` 张量（一个 i32 类型的 token-to-expert 索引表）转换为 float 类型。

github llama.cpp · 5 天前

llama.cpp b10066 通过 OpenCL 添加对 kernel_gemm_moe_q6_k_f32_ns 内核的支持

llama.cpp 项目发布了 b10066 版本，通过 OpenCL 引入了对 `kernel_gemm_moe_q6_k_f32_ns` 内核的支持。此更新允许在框架内加载和使用此特定的二进制内核库。

github llama.cpp · 5 天前 · 5 次浏览

llama.cpp b10064 发布，包含 OpenCL 转置优化

llama.cpp 项目发布了 b10064 版本，其中包含对 OpenCL 后端的更改。此更新通过转置 noshuffle scales 来修改 q4_K 量化格式，以实现合并读取。