llama.cpp b10034リリースは、Adreno A7xデバイスのコンパイラがrepackカーネルを誤コンパイルし、Mixture of Experts (MoE)モデルで重みの破損とゴミ出力を引き起こす重大な問題を解決します。これを解決するため、このアップデートではこれらの特定のMoEカーネルの使用からAdreno A7xデバイスを除外します。

  • コンパイラの誤コンパイルの問題により、Adreno MoEカーネルの使用からAdreno A7xを除外します。
  • 安定性を確保するため、A6xおよび不明なAdreno GPUもMoE重みのrepackから除外します。
  • macOS Apple SiliconビルドにおけるKleidiAIサポートを無効化します。
  • macOS (Apple Silicon および Intel)、Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL)、Android、Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)、openEuler用のバイナリを提供します。

この変更により、影響を受けるAdrenoハードウェアでのモデル出力の破損を防ぎ、これらのGPUを持つユーザーにとって信頼性の高い推論を保証します。