llama.cpp プロジェクトはバージョン b9946 をリリースし、Qualcomm Hexagon プロセッサ向けの大幅な最適化と複数のプラットフォーム用の新しいビルド成果物をもたらしました。

  • Hexagon 単一演算は、VTCM オーバーフローを回避するために広い行をタイル化し、除算を fastdiv に置き換えました。
  • この更新には、コード生成の改善のためのトレーシング計測と最適化された HVX カーネルが含まれています。
  • macOS Apple Silicon 用のバイナリが利用可能ですが、KleidiAI サポートは無効のままです。
  • 新しい Linux ビルドは、CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL ターゲットをカバーしています。
  • Windows リリースには、既存の CUDA 12、OpenCL、HIP オプションに加えて CUDA 13 サポートが含まれるようになりました。

このリリースは、デスクトップおよびモバイル環境向けの更新されたバイナリを提供し、Hexagon ベースのハードウェアでのパフォーマンスを向上させます。