Une nouvelle audit des benchmarks de récupération multi-sauts révèle que Nemotron-3-Embed-8B de NVIDIA a comblé l'écart de performance entre les encodeurs à licence commerciale et l'ancre NV-Embed-v2 non commerciale sur le benchmark MuSiQue. Publié le 16 juillet 2026, ce modèle est la seule option à licence commerciale et auto-hébergeable gratuitement qui offre des performances indiscernables par rapport à la référence académique.
- L'étude audite quatre systèmes MuSiQue de premier plan (HippoRAG-2, PropRAG, SAG, KET-RAG), notant que trois dépendent de NV-Embed-v2 non commerciale sans divulgation.
- Jusqu'à mi-2026, le meilleur encodeur à licence commerciale était en retard de 2,31 points Recall@5 par rapport à l'ancre ; Nemotron-3-Embed correspond désormais à l'ancre avec une différence statistiquement insignifiante de +0,24 au Recall@5.
- Chaque autre participant à licence commerciale et auto-hébergeable gratuitement se situe entre 5,2 et 14,6 points en dessous de l'ancre.
- L'audit met en évidence un écart de coûts significatif : trois des cinq systèmes audités ne divulguent pas les coûts d'indexation, les chiffres GraphRAG publiés couvrant une plage de 11x (2,30 USD contre 24,94 USD pour un corpus de 5,64 Mo).
- Extrapolé à 1 To, ce choix non divulgué sépare les coûts d'environ 428 000 USD à 4,6 millions de dollars, les coûts de construction du graphe éclipsant les dépenses d'encodage et de réponse.
Les résultats soulignent que les acheteurs doivent vérifier à la fois les conditions de licence et les coûts d'indexation avant de se fier aux chiffres de benchmark publiés, car la division entre payant et gratuit impacte considérablement la viabilité du déploiement.