github llama.cpp · 9 小时前 · inference

llama.cpp b11320 新增 LLM-jp-4.1 Harmony 方言处理器

译自 English → 中文

llama.cpp 项目发布了构建版本 b11320，其中包含针对 LLM-jp-4.1 模型的新方言处理器。

此次更新增加了对 LLM-jp-4.1 Harmony 方言的支持，以解决其分词器和并行工具调用格式方面的兼容性问题。
该版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL、Snapdragon）、Android、Windows 和 openEuler 的二进制文件。
发行版中还包含一个独立的 UI 包。

重要性 1/3 可信度 1/3 llama.cpp Local inference

相关文章

github llama.cpp · 20 小时前 · 1 次浏览

llama.cpp b11307 为推测解码保留批次顺序

llama.cpp 项目发布了构建版本 b11307，修复了层输入顺序，以在推测解码期间保留原始批次序列。此更改确保未掩码 NextN 嵌入的 token 顺序得到正确维护，并与张量分割兼容。

github llama.cpp · 22 小时前 · 1 次浏览

llama.cpp b11301 修复了 ggml/gguf 中的整数溢出问题

llama.cpp 项目发布了构建版本 b11301，其中包含对 ggml 和 gguf 组件中整数溢出问题的修复。此更新改进了验证逻辑，以防止在处理零元素张量时出现潜在错误。

github llama.cpp · 23 小时前 · 3 次浏览

llama.cpp b11302 修复稀疏索引器中的 ThreadSanitizer 数据竞争

llama.cpp 项目发布了构建版本 b11302，解决了 CI 流水线中由 ThreadSanitizer 识别出的关键并发问题。此次更新修复了稀疏注意力机制中的数据竞争，此前多个 CPU 线程会错误地写入相同的内存元素。

github llama.cpp · 1 天前 · 2 次浏览

llama.cpp b11298 添加了对 dflash 格式转换和特征提取的支持

llama.cpp 项目发布了构建版本 b11298，引入了对 dflash 格式的支持。此更新支持将模型转换为该格式以及后续的特征提取功能。

github llama.cpp · 1 天前 · 3 次浏览

llama.cpp b11284 修复了量化权重视图上 OpenVINO GET_ROWS 的问题

llama.cpp 项目发布了构建版本 b11284，其中包含针对 OpenVINO 后端的修复，以正确处理量化权重视图上的 GET_ROWS 操作。