github llama.cpp · 1 小时前 · inference

llama.cpp 为 Apple M3 Max、M5 和 M5 Pro 添加 fa-vec 调优

译自 English → 中文

llama.cpp 项目已为 Apple M3 Max、M5 和 M5 Pro GPU 添加了快速注意力向量 (fa-vec) 调优记录，以改进 Metal 性能。

这些更新将 Metal 加速功能扩展到了更新的 Apple silicon 架构。

重要性 1/3 可信度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp 项目发布了构建版本 b10665，引入了对 Nemotron3.5 模型的 DSpark 支持。

llama.cpp 项目已添加对 Qwen3.8-Flash-Next (qwen4exp) 模型架构的支持，实现了其特定组件，包括超连接、门控 delta 网络、专家混合（MoE）和 PLE n-gram 哈希嵌入。

llama.cpp 项目发布了构建版本 b10653，在其模型加载器中引入了 TENSOR_READ_LAZY 功能。此更改包括添加 TENSOR_GET_ROW_LAZY 函数以及相应的命令行标志 --tensor-read-lazy。

llama.cpp 项目发布了构建版本 b10655，在 Vulkan 后端引入了对 LIGHTNING_INDEXER 操作的支持，以启用 Deepseek V4 操作。

llama.cpp 项目发布了构建版本 b10639，其中包含对 Vulkan 后端的修复，此前 warptiles 假设 warp 大小小于或等于 64。此更改将 warp 大小限制为绕过较大 warp 的问题。