llama.cpp b10614 版本通过拆分操作源代码并启用并行编译,对 Metal 后端进行了重大的架构更改。此更新还包括几个新的内核实现以及对其他量化格式的支持。

  • 将 metallib 拆分为 8 个库并以并行方式加载它们,以缩短构建时间。
  • 添加支持 f32、f16 和 bf16 数据类型的 col2im_1d 操作。
  • 为 Metal 实现 CONV_2D_DW(深度卷积)支持。
  • 添加 Q2_0 量化格式支持。
  • 融合 snake 激活操作(mul、sin、sqr、mul、add)。
  • 为 Metal 后端引入 FWHT 内核。

此版本为 macOS、iOS、Linux、Windows、Android 和 openEuler 提供了预编译的二进制文件,适用于 CPU、GPU 和各种加速器后端。