NASA는 지질학 커뮤니티가 자연어 쿼리를 통해 관련 데이터셋과 도구를 찾을 수 있도록 설계된 공개 에이전트형 검색 시스템을 배포했습니다. 이 서비스는 NASA Earth Observation Knowledge Graph (NASA EO-KG)를 활용하여 수천 개의 지질학 자원 중에서 리소스를 찾는 어려움을 해결합니다.

  • 47k의 쿼리-데이터셋 쌍(그중 21k가 작업 기반 쿼리)을 포함하는 오픈 벤치마크인 NASA-EO-Bench를 도입했습니다.
  • 이 벤치마크로 파인튜닝된 뉴럴 스코어러는 코사인 및 BM25 베이스라인을 능가합니다.
  • 점수 융합을 통해 뉴럴 스코어러와 BM25를 결합하면 Recall@10 (R@10)과 MRR이 5배 이상 향상됩니다.
  • 제로샷 에이전트형 리랭킹 단계를 추가하면 추가 학습 없이 200개 쿼리의 계층적 하위 집합에서 MRR이 28% 향상되었습니다.

저자들은 잠재 지식 그래프의 가치가 에이전트형 검색을 통해 크게 증폭됨을 입증했으며, LLM 추론이 지도된 검색 방법을 보완함을 보여줍니다.