llama.cpp 项目发布了 b10408 版本,引入了用于 Intel GPU 的 DMMV Q3_K ESIMD 内核。此版本还包括新的 Q4_K 和 Q6_K ESIMD 内核,并对代码库进行了重构,以允许在运行时而非编译时控制 ESIMD。

  • 添加 DMMV Q3_K、Q4_K 和 Q6_K ESIMD 内核。
  • 将 ESIMD 的控制从编译时配置移至运行时。
  • 在可用时使用 ESIMD 作为默认值,并修复与此默认行为相关的潜在错误。
  • 包含 ESIMD 内核的显式展开指令并整理内核代码。

该更新为 macOS、Linux、Windows、Android 和 openEuler 提供了适用于 CPU、CUDA、Vulkan、OpenCL、ROCm 和 SYCL 后端的二进制文件。