llama.cppプロジェクトはバージョンb10791をリリースし、量子化された言語モデルのヘッドとデコードGEMV演算に対する重要なOpenCL最適化を導入しました。このアップデートには、推論デコーディングやマルチトークン予測に関連するミディアムバッチGEMMの改善も含まれています。

  • 推論デコーディング/MTP向けにopencl quant lm_head / decode GEMVおよびミディアムバッチGEMMを最適化。
  • Adreno以外のビルド向けにq4_K/q6_K tiled_ns convert-kernelの登録をガード。
  • q4_K MUL_MAT+GLU融合ディスパッチをAdrenoハードウェアに限定。
  • q4_K GLU融合ゲートでnoshuffle重みレイアウトを要求。
  • アラインされていない行ストライドにおいて、ベクトル化されたf16 mrow GEMVパスを採用しないように防止。
  • パフォーマンス向上が測定された場合にのみq4_K split-K decode GEMVを有効化。
  • tiled lm_head/embed GEMVのデフォルトをX2E/A8Xアーキテクチャに制限。

このリリースでは、CPU、GPU、および各種アクセラレータバックエンド向けにmacOS、iOS、Linux、Windows、Android、openEuler用のバイナリが提供されています。