github llama.cpp · 2 天前 · inference

llama.cpp b11260 添加对 FP32 GELU_ERF 和 GEGLU_ERF 的支持

译自 English → 中文

llama.cpp 项目发布了 b11260 版本，在 Hexagon 后端引入了对 FP32 GELU_ERF 和 GEGLU_ERF 激活函数的支持。此更新还包括优化以减少相关内核中的寄存器压力。

此版本扩展了特定激活函数的硬件兼容性，并提高了对支持加速器的效率。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp 项目发布了构建版本 b11307，修复了层输入顺序，以在推测解码期间保留原始批次序列。此更改确保未掩码 NextN 嵌入的 token 顺序得到正确维护，并与张量分割兼容。

llama.cpp 项目发布了构建版本 b11301，其中包含对 ggml 和 gguf 组件中整数溢出问题的修复。此更新改进了验证逻辑，以防止在处理零元素张量时出现潜在错误。

llama.cpp 项目发布了构建版本 b11302，解决了 CI 流水线中由 ThreadSanitizer 识别出的关键并发问题。此次更新修复了稀疏注意力机制中的数据竞争，此前多个 CPU 线程会错误地写入相同的内存元素。

llama.cpp 项目发布了构建版本 b11298，引入了对 dflash 格式的支持。此更新支持将模型转换为该格式以及后续的特征提取功能。

llama.cpp 项目发布了构建版本 b11284，其中包含针对 OpenVINO 后端的修复，以正确处理量化权重视图上的 GET_ROWS 操作。