llama.cppプロジェクトはビルドb10534をリリースし、CUDA上の量子化されたデコード時にベクトルパスとテンソルコアパス間のクロスを調整するためのハードウェア固有の切替点を導入しました。
- リリースにより、mul_mat_vec_qからMMQへのカーネルが切り替わるバッチサイズの閾値を調整するGGML_CUDA_MMVQ_MAXを通じたランタイム設定が追加されました。
- Blackwell、DGX Spark、Adaアーキテクチャ用の特定の切替点の値が含まれるようになり、環境変数への依存が軽減されました。
- この閾値を下げることで、より大きなバッチをint8 MMQテンソルコアパスにルーティングし、RTX 5090上でQ4_K密モデルのバッチサイズ8において23〜41%の速度向上が測定されました。
- このアップデートには、CPU、CUDA、Vulkan、ROCm、OpenVINO、SYCLバックエンド向けにmacOS、Linux、Windows、Android、openEuler用のバイナリが含まれています。
この変更により、バッチサイズとハードウェアの能力に基づいて最も効率的なカーネルパスを自動的に選択することで、最新のNVIDIA GPUでの推論パフォーマンスが向上しました。