Audit baru terhadap benchmark retrieval multi-hop mengungkapkan bahwa Nemotron-3-Embed-8B dari NVIDIA telah menutup kesenjangan kinerja antara embedder berlisensi komersial dan anchor NV-Embed-v2 non-komersial pada benchmark MuSiQue. Dirilis pada 16 Juli 2026, model ini adalah satu-satunya opsi berlisensi komersial yang dapat di-host sendiri secara gratis dengan performa yang tidak dapat dibedakan dari standar akademik.
- Studi tersebut mengaudit empat sistem MuSiQue terkemuka (HippoRAG-2, PropRAG, SAG, KET-RAG), mencatat bahwa tiga di antaranya bergantung pada NV-Embed-v2 non-komersial tanpa pengungkapan.
- Hingga pertengahan 2026, embedder berlisensi komersial terbaik tertinggal dari anchor sebesar 2,31 poin Recall@5; Nemotron-3-Embed kini menyamai anchor dengan perbedaan yang tidak signifikan secara statistik sebesar +0,24 pada Recall@5.
- Setiap peserta lain yang berlisensi komersial dan dapat di-host sendiri berada 5,2 hingga 14,6 poin di bawah anchor.
- Audit menyoroti kesenjangan biaya yang signifikan: tiga dari lima sistem yang diaudit tidak mengungkapkan biaya pengindeksan, dengan angka GraphRAG yang dipublikasikan mencakup rentang 11x (USD 2,30 vs USD 24,94 untuk korpus sebesar 5,64 MB).
- Jika diekstrapolasikan ke 1 TB, pilihan yang tidak diungkapkan ini memisahkan biaya dari sekitar USD 428K hingga $4,6M, dengan biaya konstruksi graf yang jauh melampaui biaya embedding dan pengajuan pertanyaan.
Temuan tersebut menekankan bahwa pembeli harus memverifikasi kedua syarat lisensi dan biaya pengindeksan sebelum mengandalkan angka benchmark yang dipublikasikan, karena kesenjangan antara berbayar dan gratis berdampak signifikan pada kelayakan penyebaran.