Une demande de tirage vers llama.cpp introduit des opérations de post-échelle MMVQ (Multi-Mode Vector Quantization) fusionnées pour la quantification NVFP4 sur CUDA, ciblant spécifiquement une taille de lot de 1.
L'implémentation inclut la fusion MMVQ dense et restreint la fusion d'échelle à NVFP4 pour éviter les régressions de performance dans les configurations lourdes en GEMV. Les benchmarks sur le matériel B4500, DGX Spark et B6000 montrent des accélérations pour qwen35moe 35B.A3B NVFP4 allant de 1,02x à 1,08x par rapport à la branche master.
Les modifications impliquent également le refactoring de la logique de fusion côté hôte, la fusion des helpers de fusion mm à voie unique et le réordonnancement des additions de biais/échelle pour se conformer aux demandes de tirage associées.