github llama.cpp · 1 小时前 · inference

llama.cpp b10081 将草稿仓库解析为其请求的 sidecar

译自 English → 中文

llama.cpp b10081 版本修复了一个错误，其中 `--hfd` 标志指向包含推测性 sidecars 的仓库，但草稿计划错误地解析为主模型而非 sidecar。发生这种情况是因为 `find_best_model()` 排除了 sidecar 文件，且显式草稿计划抑制了 sidecar 的发现。

该修复将发现的 sidecars 连接为草稿，遵循主计划的回退模式，允许像 `llama-server -hf repo -hfd repo --spec-type draft-dflash` 这样的命令按预期工作。

此版本包括适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 2 小时前

llama.cpp b10080 修复了服务器崩溃和 UI 验证错误

llama.cpp b10080 版本解决了服务器和用户界面组件中的两个特定错误。当包含 X-Conversation-Id 标头的请求验证失败时，服务器现在正确返回 400 状态码，而不是因 500 错误而崩溃。此外，UI 不再发送 backend_sampling 占位符，该占位符此前会导致默认设置补全验证失败。

arxiv arXiv cs.LG · 5 小时前

SkewAdam 使用分层优化器状态将 MoE 训练内存降低 97%

研究人员推出了 SkewAdam，这是一种专为混合专家（MoE）模型设计的优化器，它向不同的参数群体分配不同类型的状态，从而大幅降低内存使用量。通过将 float32 动量和分解的二阶矩分配给主干网络，将分解的二阶矩分配给专家，并将精确的二阶矩分配给路由器，SkewAdam 将 6.78B 参数模型的优化器状态从 50.6 GB 减少到 1.29 GB。

github llama.cpp · 8 小时前

llama.cpp b10078 重构 Vulkan 队列处理以绕过主机端互斥锁

llama.cpp 项目发布了构建版本 b10078，其中包括对 Vulkan 后端的重大重构，以提高同步效率。该更新集成了对 VK_KHR_internally_synchronized_queues 的支持，允许库将队列提交抽象为多态接口，当驱动程序支持时，完全绕过主机端互斥锁锁定。

github llama.cpp · 15 小时前

llama.cpp b10076 使用 int4 复制向量化 get_rows，实现 27% 加速

llama.cpp 项目发布了构建版本 b10076，通过在 CUDA 后端对 `get_rows` 操作进行向量化并使用 int4 复制，引入了性能优化。此更改将行不变的工作从逐元素循环中提升出来，并添加了一个向量化路径，为连续的同类型数据每个线程复制 16 字节。

media Hugging Face Forums · 2 天前 · 1 次浏览

使用本地大语言模型构建生产级语音助手面临持续的延迟和上下文限制

一个在西班牙运营两个生产级语音助手的团队，使用 Retell AI、Ollama 以及 RTX 4000 Ada 上的本地模型进行部署。该团队报告称，虽然对话质量有所提升，但核心延迟问题仍未得到解决。主要约束来自 Retell AI 的约 3 秒超时限制；如果大语言模型未能在此窗口内生成首个 token，连接将会断开，导致在两次重连后通话终止。