llama.cpp menggabungkan post-skala MMVQ untuk NVFP4 pada CUDA

Sebuah pull request ke llama.cpp memperkenalkan operasi post-skala MMVQ (Multi-Mode Vector Quantization) yang digabungkan untuk kuantisasi NVFP4 pada CUDA, khususnya menargetkan ukuran batch 1.

Implementasi ini mencakup penggabungan MMVQ padat dan membatasi penggabungan skala hanya pada NVFP4 untuk mencegah regresi kinerja dalam konfigurasi yang berat GEMV. Benchmark pada perangkat keras B4500, DGX Spark, dan B6000 menunjukkan percepatan untuk qwen35moe 35B.A3B NVFP4 berkisar dari 1,02x hingga 1,08x dibandingkan dengan cabang master.

Perubahan tersebut juga melibatkan refaktor logika penggabungan sisi host, penggabungan helper mm-fusion jalur tunggal, dan penataan ulang penambahan bias/skala untuk mematuhi PR terkait.