github llama.cpp · 刚刚 · inference

llama.cpp b10752 为 xcframework 添加 metallib 构建支持

译自 English → 中文

llama.cpp 项目发布了版本 b10752，引入了对 iOS XCFramework 的 metallib 构建支持。此更新使开发人员能够使用 Metal 后端将库集成到 iOS 应用程序中。

该版本为各种平台和硬件加速器提供了预编译的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

llama.cpp 项目发布了构建版本 b10751，其中引入了针对 CUDA 上 MoE（混合专家）加权专家归约的融合内核。该优化用单个加权归约内核替换了之前运行两个物理内核的基线方案，以减少中间全局内存流量。

llama.cpp 项目发布了构建版本 b10750，重构了键值单元管理以改进序列位置索引和 n-gram 历史查找。

llama.cpp 项目发布了 b10742 版本，其中包含一项新功能，专门为 MacBook Neo 中的 Apple A18 Pro 芯片添加了快速向量 (fa-vec) 调优。

llama.cpp 项目发布了版本 b10738，为 CPU、GPU 和各种加速器后端提供适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件。

llama.cpp 项目发布了版本 b10739，其中包括针对 Apple M2 Max 硬件的特定性能优化。此更新引入了针对 M2 Max 的 30 个 GPU 核心的快速注意力向量 (fa-vec) 调优。