llama.cpp プロジェクトは、量子化された結合演算のテンソル連続性の要件を緩和する変更を含むバージョン b10025 をリリースしました。

  • コアアップデートにより、CUDA バックエンドと基盤となる ggml ライブラリが修正され、量子化された結合中に非連続なテンソルが許可されました。
  • 非連続な量子化された結合入力との機能検証のためにテストケースが追加されました。
  • macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler 用のバイナリが提供されています。

このリリースはビルド環境を更新し、量子化された演算の特定のテンソル処理制約を修正しました。