llama.cpp объединяет пост-масштабирование MMVQ для NVFP4 на CUDA

Запрос на слияние в llama.cpp внедряет объединённые операции пост-масштабирования MMVQ (Многомодовое Векторное Квантование) для квантования NVFP4 на CUDA, специально ориентированные на размер батча 1.

Реализация включает плотное слияние MMVQ и ограничивает слияние масштабов форматом NVFP4, чтобы предотвратить регрессию производительности в конфигурациях, интенсивно использующих GEMV. Бенчмарки на оборудовании B4500, DGX Spark и B6000 показывают ускорение для qwen35moe 35B.A3B NVFP4 в диапазоне от 1.02x до 1.08x по сравнению с мастер-веткой.

Изменения также включают рефакторинг логики слияния на стороне хоста, объединение вспомогательных функций слияния для одной полосы и переупорядочивание операций добавления смещения/масштаба в соответствии с другими PR.