llama.cpp 项目发布了构建版本 b9966，解决了 -sm tensor 功能中的性能问题。该更新移除了之前在解码线程上为每个张量、每个标记执行的 29 次正则表达式重新编译。

  • 代码此前会为每个标记的每个张量从头重建 29 个正则表达式模式。
  • 修复措施将这些模式缓存起来，使其仅构建一次并重复使用。
  • 此更改减少了解码线程上浪费的 CPU 周期，且不改变行为。