llama.cppプロジェクトは、-smテンソル機能のパフォーマンス問題を解消するビルドb9966をリリースしました。このアップデートにより、デコードスレッドで発生していた、テンソルごとにトークン29回の正規表現再コンパイルが削除されました。

  • 従来のコードでは、すべてのトークンのすべてのテンソルに対して29個の正規表現パターンを一から再生成していました。
  • この修正により、これらのパターンがキャッシュされ、一度構築されて再利用されるようになりました。
  • この変更は、動作を変更せずにデコードスレッドでの無駄なCPUサイクルを削減します。