llama.cppへのプルリクエストにより、CUDA上でのNVFP4量子化にMMVQ(Multi-Mode Vector Quantization)のポストスケール演算が融合されました。これはバッチサイズ1を対象としています。
実装には密なMMVQ融合が含まれ、GEMV負荷の高い構成におけるパフォーマンス低下を防ぐため、スケール融合はNVFP4に制限されています。B4500、DGX Spark、B6000のハードウェアでのベンチマークでは、qwen35moe 35B.A3B NVFP4がマスターブランチと比較して1.02倍から1.08倍の高速化を示しました。
変更にはホスト側の融合ロジックのリファクタリング、シングルレーンのmm-fusionヘルパーのマージ、関連するPRに準拠するためのバイアス/スケール加算の再順序付けも含まれます。