llama.cpp 项目发布了 b11206 版本，引入了对 Hexagon 后端采样器的支持。此更新包括对采样管道和 Hexagon NPU 上操作的一系列更改。

  • 向 hex-sampler 添加了 STEP 和 SUM 操作。
  • 更新 CPY 以支持采样情况。
  • 在 hex-binary 中添加分块支持以处理大 logits。
  • 为 hex-argmax 实现了 ARGMAX 的基础版本。
  • 修复了跨 dim 2 切片广播 dim 1 的索引问题。
  • 禁用自动向量化器，以便在关键循环中使用显式提示。

该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的二进制文件，支持包括 CPU、GPU 和 NPU 在内的各种硬件后端。