llama.cpp 项目发布了构建版本 b10005，其中包括针对 DeepseekV4 模型架构的特定更新。该版本通过修复 `seq_rm` 并实现正确的 `seq_cp` 函数来解决序列管理问题。

  • 修复了 DeepseekV4 模型的 `seq_rm`。
  • 实现了正确的 `seq_cp` 功能。
  • 创建了实际的更新上下文以改善处理。
  • macOS Apple Silicon (arm64) 构建可用，而 KleidiAI 支持已禁用。
  • Linux 二进制文件涵盖 Ubuntu x64 和 arm64 (CPU)、s390x、Vulkan、ROCm 7.2、OpenVINO 以及 SYCL FP32/FP16。
  • 提供了 Android arm64 CPU 构建。
  • Windows 发行版包括 CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL 和 HIP 变体。
  • 包含对 x86 和 aarch64 (310p/910b ACL Graph) 的 openEuler 支持，部分配置已禁用。

此更新确保了在所有支持的平台上的 DeepseekV4 模型序列处理正确无误。