बहु-हॉप रीट्रीवल बेंचमार्क का एक नया ऑडिट दर्शाता है कि NVIDIA के Nemotron-3-Embed-8B ने MuSiQue बेंचमार्क पर व्यावसायिक रूप से लाइसेंस प्राप्त एम्बेडर्स और गैर-वाणिज्यिक NV-Embed-v2 एंकर के बीच प्रदर्शन अंतर को समाप्त कर दिया है। 16 जुलाई, 2026 को जारी किया गया, यह मॉडल व्यावसायिक रूप से लाइसेंस प्राप्त एकमात्र मुफ्त-स्व-होस्ट विकल्प है जो शैक्षणिक मानक के साथ अविभेद्य प्रदर्शन करता है।
- अध्ययन चार प्रमुख MuSiQue सिस्टम (HippoRAG-2, PropRAG, SAG, KET-RAG) का ऑडिट करता है, यह नोट करते हुए कि तीन गैर-वाणिज्यिक NV-Embed-v2 पर निर्भर हैं बिना इसका खुलासा किए।
- मध्य 2026 तक, सर्वश्रेष्ठ व्यावसायिक रूप से लाइसेंस प्राप्त एम्बेडर एंकर से 2.31 Recall@5 अंक पीछे था; Nemotron-3-Embed अब Recall@5 पर +0.24 के सांख्यिकीय रूप से नगण्य अंतर के साथ एंकर के बराबर है।
- प्रत्येक अन्य व्यावसायिक रूप से लाइसेंस प्राप्त और मुफ्त-स्व-होस्ट दावेदार एंकर से 5.2 से 14.6 अंक नीचे बैठता है।
- ऑडिट एक महत्वपूर्ण लागत असमानता को उजागर करता है: पांच में से तीन ऑडिट किए गए सिस्टम इंडेक्सिंग लागत का खुलासा नहीं करते हैं, प्रकाशित GraphRAG आंकड़े 11x की सीमा में फैले हुए हैं (5.64 MB कॉरपस के लिए USD 2.30 बनाम USD 24.94)।
- 1 TB तक बढ़ाने पर, यह अस्पष्ट विकल्प लागत को लगभग USD 428K से $4.6M में अलग करता है, जिसमें ग्राफ निर्माण लागत एम्बेडिंग और उत्तर देने की खर्चों को छा जाती है।
निष्कर्ष इस बात पर जोर देते हैं कि खरीदारों को प्रकाशित बेंचमार्क आंकड़ों पर भरोसा करने से पहले लाइसेंस शर्तों और इंडेक्सिंग लागत दोनों की पुष्टि करनी चाहिए, क्योंकि भुगतान-बनाम-मुफ्त विभाजन डिप्लॉयमेंट की व्यवहार्यता को महत्वपूर्ण रूप से प्रभावित करता है।