llama.cpp 项目发布了版本 b10098,其中包括对 Hexagon 激活操作的更新。此版本为 macOS、Linux、Android、Windows 和 openEuler 在各种 CPU 和 GPU 后端提供了二进制文件。
- 优化了全合一 geglu 微内核 (hex-geglu)
- 启用了 hex-geglu 的非连续源和步长 DMA
- 启用了其余 ACT 操作的非连续源和步长 DMA
- 通过 DEFINE_GLU_PER_THREAD 宏泛化了每个线程的 GLU 函数
- 将 UNARY_SILU 和 UNARY_GELU 移至 unary-ops
- 用本地 htp_vtcm_layout 计算替换了通用的 ops_context 暂存区使用