github llama.cpp · 1 小时前 · inference

llama.cpp b10430 允许虚拟集成显卡设备

译自 English → 中文

llama.cpp 项目发布了版本 b10430，引入了对虚拟集成 GPU (igpu) 设备的支持。此更新还包括代码库中改进的注释。

该版本为 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu 带 CPU、Vulkan、OpenVINO、SYCL 和禁用的 ROCm）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 ROCm 7.14）以及 openEuler 架构提供了二进制文件和框架。

此更新使用户能够在广泛的操作系统和硬件加速器上使用虚拟 igpu 配置的系统上运行 llama.cpp。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 刚刚实时

llama.cpp b10429 允许在 llama_decode() 期间访问 /metrics 和 /slots

llama.cpp 项目发布了版本 b10429，该版本修改了服务器，使其在 llama_decode() 执行期间允许访问 /metrics 和 /slots 端点。

github llama.cpp · 6 小时前

llama.cpp b10427 融合 SYCL FFN 操作，吞吐量提升高达 12.4%

llama.cpp 项目发布了版本 b10427，其中包括通过 SYCL 针对 Intel Arc GPU 的性能优化。该更新实现了在 q4_K 密集前馈网络 (FFN) 层内对 gate、up 和 GLU 操作的融合。

github llama.cpp · 7 小时前 · 1 次浏览

llama.cpp b10425 融合 gated-delta-net 状态回写，速度提升 +1.2%

llama.cpp 项目已发布版本 b10425，其中包括将 SYCL 优化移植到融合 gated-delta-net 状态回写副本。

arxiv arXiv cs.CL · 10 小时前

减少矩阵乘法：面向大语言模型推理的输入自适应矩阵乘积约简

研究人员提出减少矩阵乘法（RMM），这是一种无需训练、输入自适应的推理方法，通过在收缩维度上选择信息丰富的切片来降低 Transformer 矩阵乘积，而无需修改模型权重。在简单的保留率控制下，RMM 在参数量从 1B 到 70B 的语言模型中提供了平滑且可预测的精度-效率权衡。

github llama.cpp · 15 小时前

llama.cpp b10418 增加对 SYCL 主机固定内存的支持

llama.cpp 项目发布了 b10418 版本，引入了对主机固定内存的支持，以改善 SYCL 主机到设备的内存访问。此更新解决了后端实现中的线程安全问题。