llama.cpp 项目发布了版本 b10604,引入了对 Deepseek 4 (DSV4) 模型格式的支持,并附带适用于 macOS 和 iOS 的新预编译二进制文件。

  • 增加了对 Deepseek 4 (DSV4) sm 张量的支持,针对头部分裂采用更粗的粒度,并修复了 dspark 的问题。
  • 启用了 DSV4 模型的保存功能,并允许 dflash 在特定设备上返回。
  • 包含了共享专家的延迟 allreduce 功能。
  • 提供了 macOS Apple Silicon 二进制文件、iOS XCFrameworks,以及针对 CPU、GPU 和专用后端更新的 Linux、Windows、Android 和 openEuler 二进制文件。

此版本使用户能够使用 llama.cpp 运行 Deepseek 4 模型,并为 Apple 设备提供了更新的本地构建。