llama.cppプロジェクトはバージョンb9969をリリースし、Vulkanバックエンドの重大な安定性問題を解消しました。このアップデートにより、Adreno GPUにおいて大きな行列乗算がミディアムタイルにルーティングされ、共有メモリの不足によりq4_0量子化モデルや長いプロンプトサイズで発生していたクラッシュが解決されました。

  • Vulkan行列乗算における共有メモリ使用量の最適化により、長いプロンプトでllama-cliが壊れる問題を修正。
  • 未使用のAdrenoデバイスコードを削除し、小さなパイプライン行列乗算の実装を更新。
  • macOS Apple SiliconビルドにおけるKleidiAIサポートを無効化。
  • Ubuntu（CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、HIP、SYCL）、macOS、iOS、Android、openEulerのバイナリを提供。

このリリースにより、Adrenoデバイスでのより大きなコンテキストウィンドウを持つ安定した推論が保証され、幅広いハードウェアバックエンドとの互換性が維持されます。