llama.cpp में एक पुल रिक्वेस्ट CUDA पर NVFP4 क्वांटीज़ेशन के लिए फ्यूज्ड MMVQ (मल्टी-मोड वेक्टर क्वांटीज़ेशन) पोस्ट-स्केल ऑपरेशन्स पेश करती है, विशेष रूप से बैच साइज 1 को लक्षित करते हुए।
इम्प्लीमेंटेशन में घन MMVQ फ्यूजन शामिल है और GEMV-भारी कॉन्फ़िगरेशन में प्रदर्शन रीग्रेशन को रोकने के लिए स्केल-फ्यूजन को NVFP4 तक सीमित करता है। B4500, DGX Spark, और B6000 हार्डवेयर पर बेंचमार्क्स qwen35moe 35B.A3B NVFP4 के लिए मास्टर ब्रांच की तुलना में 1.02x से 1.08x तक स्पीडअप दिखाते हैं।
बदलाव में होस्ट-साइड फ्यूजन लॉजिक का रीफैक्टरिंग, सिंगल-लेन mm-फ्यूशन हेल्पर्स को मर्ज करना, और संबंधित PRs का पालन करने के लिए बायस/स्केल एडिशन को पुनः क्रमित करना भी शामिल है।