github llama.cpp · 2 小时前 · inference

llama.cpp b10305 为 DSv4 OPs 添加 SYCL 支持

译自 English → 中文

llama.cpp 项目发布了构建版本 b10305，在 SYCL 后端引入了对特定 DSv4 操作的支持。此更新包括 LIGHTNING_INDEXER、DSV4_HC_COMB、DSV4_HC_POST 和 DSV4_HC_PRE 算子的实现。

为 SYCL 后端添加了 DSv4 OPs 支持：LIGHTNING_INDEXER、DSV4_HC_COMB、DSV4_HC_POST 和 DSV4_HC_PRE。
更新了 ops.md 文档文件。
修复了代码库中的格式问题。

此版本提供了适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux（Ubuntu 带 CPU、Vulkan、ROCm 7.2、OpenVINO 和 SYCL FP32/FP16）、Android、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）和 openEuler 平台的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

相关文章

github llama.cpp · 1 小时前实时

llama.cpp b10307 修复 SYCL NVFP4 解析

llama.cpp 项目发布了版本 b10307，其中包含对 SYCL GPU 代码的修复，以正确解析 NVFP4 量化中使用的 UE4M3 缩放因子。

github llama.cpp · 2 小时前

llama.cpp b10306 添加 SYCL GLU 扁平路径并整合内核

llama.cpp b10306 版本引入了针对 SYCL 后端的性能优化，特别针对门控线性单元（GLU）操作。此次更新为融合的 GLU 操作添加了连续的快速路径，并将之前不同的内核整合以共享一个通用的启动器。

github llama.cpp · 16 小时前

llama.cpp b10298 为 mtmd 模块添加了块保存/加载功能

llama.cpp 项目发布了构建版本 b10298，其中为 mtmd 模块引入了新的块保存和加载功能。此更新还包括代码清理和额外的测试。

github llama.cpp · 1 天前 · 3 次浏览

llama.cpp b10293 为 gfx1151 添加 ROCm CI 并修复 RDNA3.5 推理

llama.cpp 项目发布了构建版本 b10293，其中包括为 gfx1151 架构引入 AMD ROCm 持续集成，并解决了集成式 RDNA3.5 GPU 上的正确性问题。

github llama.cpp · 1 天前 · 1 次浏览

llama.cpp b10291 修复了 Vulkan 提交批处理并添加了 DeviceLost 调试工具

llama.cpp 项目发布了 b10291 版本，其中包括针对 Vulkan 后端的重大修复以及标准的平台更新。主要技术变更解决了提交批处理大小问题，并引入了用于驱动程序错误的新诊断功能。