Una solicitud de extracción a llama.cpp introduce operaciones de post-escala MMVQ (Cuantización Vectorial Multimodo) fusionadas para la cuantificación NVFP4 en CUDA, dirigidas específicamente al tamaño de lote 1.
La implementación incluye fusión densa MMVQ y restringe la fusión de escala a NVFP4 para evitar regresiones de rendimiento en configuraciones con alta carga de GEMV. Las pruebas de referencia en hardware B4500, DGX Spark y B6000 muestran aceleraciones para qwen35moe 35B.A3B NVFP4 que van desde 1.02x hasta 1.08x en comparación con la rama master.
Los cambios también implican refactorizar la lógica de fusión del lado del host, fusionar ayudantes de fusión mm de un solo carril y reordenar las adiciones de sesgo/escala para adherirse a PR relacionados.