다중 홉 검색 벤치마크에 대한 새로운 감사 결과, NVIDIA의 Nemotron-3-Embed-8B이 MuSiQue 벤치마크에서 상업적으로 라이선스된 임베더와 비상업적인 NV-Embed-v2 기준점 간의 성능 격차를 해소한 것으로 나타났습니다. 2026년 7월 16일 출시된 이 모델은 학술 표준과 구별할 수 없는 성능을 보여주는 유일한 상업적으로 라이선스된 무료 자체 호스팅 옵션입니다.

  • 이번 연구는 네 가지 주요 MuSiQue 시스템(HippoRAG-2, PropRAG, SAG, KET-RAG)을 감사하며, 세 시스템이 공개 없이 비상업적인 NV-Embed-v2에 의존하고 있음을 지적했습니다.
  • 2026년 중반까지 가장 우수한 상업적으로 라이선스된 임베더는 기준점보다 Recall@5에서 2.31포인트 뒤처져 있었으나, Nemotron-3-Embed는 이제 Recall@5에서 +0.24의 통계적으로 유의미하지 않은 차이로 기준점과 동등한 성능을 보입니다.
  • 다른 모든 상업적으로 라이선스된 무료 자체 호스팅 참여자는 기준점보다 5.2에서 14.6포인트 아래에 위치합니다.
  • 감사는 상당한 비용 격차를 강조합니다: 감사된 다섯 시스템 중 세 시스템은 인덱싱 비용을 공개하지 않으며, 공개된 GraphRAG 수치는 11배 범위(5.64 MB 코퍼스에 대해 USD 2.30 대 USD 24.94)를 차지합니다.
  • 이를 1 TB로 외삽하면, 이 미공개 선택으로 인해 비용은 약 USD 428K에서 $4.6M 사이로 갈라지며, 그래프 구축 비용이 임베딩 및 답변 비용을 압도합니다.

이 결과는 유료와 무료 간의 격차가 배포 타당성에 상당한 영향을 미치므로, 구매자가 공개된 벤치마크 수치를 신뢰하기 전에 라이선스 조건과 인덱싱 비용을 모두 확인해야 함을 강조합니다.