llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。

  • レイヤータイプごとのヘッド数とスライディングウィンドウレイヤーを正しく処理することで、Gemma-4のステートフルデコード失敗を修正。
  • GPU上でのステートフルデコードパフォーマンスを改善し、gemma-4-12Bにおいて深度8192で6.27 t/sから9.11 t/sに向上。
  • GGML_OPENVINO_REQUANT_KQUANTを追加して4ビットの再量子化ターゲットを選択可能にし、GGML_OPENVINO_SPILL_DIRを追加して重みバッファをディスクにスプール可能に。
  • エキスパートブロックをMOECompressedに融合し、グループ化された8ビットエキスパートを再量子化することでGPU MoE推論を最適化。
  • パッキングされたQKV RoPEビューを受け入れ、マスクからキャッシュレスアテンションを検出することで、NPU上のキャッシュレスエンコーダーモデルを有効化。
  • 不一致のオペランド型をf32にアップキャストして精度を保持することで、混合データ型のADD/SWIGLU_CLAMP操作を修正。

これらの変更により、Gemma-4のような複雑なモデルアーキテクチャの正確な推論が保証され、互換性のあるハードウェア上でステートフルデコードとMoEワークロードの測定可能な高速化が提供されます。