llama.cpp 项目发布了版本 b10951,其中包含对解码逻辑的代码优化。`llama_n_rs_seq` 函数调用现在在 `llama_decode` 之前执行,如果检查通过,系统可以直接返回。

  • 此更改消除了满足提前返回条件时设置 `res` 变量和使用 goto 语句的需要。
  • 主要动机是避免在不需要时调用 `llama_decode`,从而提高效率。
  • 二进制文件适用于 macOS(Apple Silicon 和 Intel)、iOS、Linux(CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows(CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)和 openEuler。