llama.cpp プロジェクトは、キーバリュー (KV) キャッシュ処理のパフォーマンス最適化を含むバージョン b10707 をリリースしました。このアップデートでは、`for_each_token_in` 関数が修正され、特定セル内のすべてのシーケンスが確認された時点でスキャンを停止するようになり、可能な最大シーケンスすべてを反復処理するのではなく動作します。

  • この変更は、`get_prev_tokens` 呼び出し元経由の n-gram パスを対象としています。
  • Qwen3.8-Flash-Next UD-Q4_K_XL を搭載した RTX PRO 6000 で、55k コンテキストにおいて生成速度が 1 秒あたり 56.3 トークンから 74.3 トークンに向上しました。
  • 132k コンテキストでは、生成速度が 1 秒あたり 33.6 トークンから 50.9 トークンに改善しました。
  • この最適化は使用されるセルの数に応じてスケールし、より長いコンテキストで効果が顕著になる一方で、プロンプト処理には影響を与えません。

今回のリリースでは、macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、および openEuler 用のバイナリが提供されています。