llama.cpp 项目发布了版本 b11054,增加了对 Qualcomm Hexagon DSP 上 TOP_K 算子的支持。此次更新包括针对单行处理的优化以及对行划分的修复。

  • 通过拉取请求 #29113 启用对 TOP_K 算子的 Hexagon 支持。
  • 优化大行选择并提高基于 VTCM 的大小上限。
  • 修复 TOP_K mdev 行划分问题。
  • 更新文档以反映新的 TOP_K 支持列表。

此版本为 macOS、Linux、Windows、Android 和 openEuler 提供了二进制文件,涵盖 CPU、CUDA、ROCm、Vulkan 和 OpenVINO 等各种硬件后端。