llama.cppプロジェクトはb10058ビルドをリリースし、Vulkanバックエンド内でQ2_0量子化フォーマットのサポートを導入しました。このアップデートには、macOS、Linux、Windows、Androidを含むさまざまなプラットフォームのバイナリ配布も含まれています。

  • VulkanバックエンドがQ2_0量子化をサポートするようになり、mat-vec-mulテストでワークグループあたりの行数を倍増させることでパフォーマンスが向上しました。
  • このリリースでは、KleidiAI有効化されたmacOS Apple Siliconビルドは無効化されています。
  • Ubuntu（CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP）、Android arm64用の新しいバイナリが利用可能です。
  • macOSのUIフレームワークがバージョンb10058に更新されました。

このリリースにより、ユーザーはVulkan互換ハードウェアで低ビット量子化を活用できるとともに、主要なオペレーティングシステム全体で更新されたバイナリが提供されます。