NASAは、地学コミュニティが自然言語クエリを通じて関連するデータセットやツールを見つけるのを支援するために設計された公開エージェント型検索システムを展開しました。このサービスは、NASA Earth Observation Knowledge Graph (NASA EO-KG)を活用し、数千の地学資産の中からリソースを探す難しさを解決します。

  • NASA-EO-Benchというオープンベンチマークを導入し、47kのクエリ-データセットペア（うち21kがタスクベースのクエリ）を含みます。
  • このベンチマークでファインチューニングされたニューラルスコアラーは、コサイン類似度やBM25のベースラインを上回ります。
  • スコア融合によりニューラルスコアラーとBM25を組み合わせることで、Recall@10 (R@10)とMRRが5倍以上向上します。
  • ゼロショットのエージェント型リランキングステージを追加することで、追加学習なしで200件のクエリの層別サブセットにおいてMRRが28%向上しました。

著者たちは、エージェント型検索を通じて潜在知識グラフの価値が大幅に増幅されることを実証し、LLMの推論が教師あり検索手法を補完することを示しています。