llama.cpp 项目发布了构建版本 b10232，通过 Metal 后端引入了对 DeepSeek V4 超连接的支持。此更新添加了 GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE 和 GGML_OP_DSV4_HC_POST 操作的实现。

  • 新内核利用了 SIMDgroup 寄存器和洗牌优化。
  • 添加了 Metal 调度支持，以支持生产环境中的 Sinkhorn 迭代计数和嵌入宽度。
  • 预构建的二进制文件适用于 macOS（Apple Silicon 和 Intel）、iOS、Linux、Windows、Android 和 openEuler，涵盖各种硬件后端，包括 CPU、CUDA、ROCm、Vulkan 和 OpenVINO。

此版本使使用 Metal 框架在 Apple Silicon 设备上高效推理 DeepSeek V4 模型成为可能。