llama.cppプロジェクトはバージョンb9965をリリースしました。このバージョンでは、hexagonバックエンドを通じて小テンソルに対するARGSORT演算の大幅な最適化が含まれています。本アップデートでは、最大1024要素を処理可能なHVXレジスタを使用した効率的なビトミックソート実装が導入されました。

  • 最大1024要素を対象としたHVXレジスタでの効率的なビトミックソートを追加。
  • hex-sortモジュール内の逆転したVRORを修正。
  • 一般的なケース用の特殊化されたソート関数と、トレーシング/ローカルコンテキストを追加。
  • macOS Apple Silicon (arm64) のKleidiAIビルドが無効化されました。

本リリースでは、CUDA、Vulkan、ROCm、OpenVINOを含む各種CPUおよびGPUバックエンド向けに、macOS、Linux、Android、Windows、openEuler用の更新されたバイナリが提供されています。