Um pull request para o llama.cpp introduz operações de pós-escala MMVQ (Quantização Vetorial Multimodal) fundidas para quantização NVFP4 no CUDA, direcionadas especificamente ao tamanho de lote 1.
A implementação inclui fusão densa MMVQ e restringe a fusão de escala ao NVFP4 para evitar regressões de desempenho em configurações pesadas em GEMV. Benchmarks em hardware B4500, DGX Spark e B6000 mostram acelerações para qwen35moe 35B.A3B NVFP4 variando de 1.02x a 1.08x em comparação com o branch master.
As alterações também envolvem refatorar a lógica de fusão do lado do host, fundir auxiliares de fusão mm de faixa única e reordenar as adições de viés/escala para aderir aos PRs relacionados.