llama.cppプロジェクトはバージョンb9874をリリースしました。これは、量子化された型の結合のための新しいCUDA実装を導入するものです。このアップデートは、ライブラリのバックエンド機能の継続的な開発の一環です。

  • 主要なコード変更は、量子化データ型の結合に対するCUDAサポートの追加です。
  • リリースにはmacOS（Apple SiliconおよびIntel）、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）、openEulerのバイナリが含まれています。
  • このリリースでは、iOS XCFrameworkとスタンドアロンUIビルドも提供されています。

このアップデートにより、ユーザーはb9874ビルドで利用可能な最新機能とプラットフォームサポートにアクセスできます。