研究者らは、現実的なデータレイクスにおけるエンドツーエンドの retrieve-and-synthesize パイプラインを評価するために設計された 9,846 組の質問応答ペアからなる人間検証済みのベンチマークである LakeQuest を紹介する。このデータセットは AI/ML メタデータ、小売銀行、マルチモーダル生物医学薬物情報の3つの多様なドメインにまたがり、各質問に正確なモダリティ対応のエビデンスポインターをペアリングしている。

  • LakeQuest はソース発見とクロスモーダル合成を分離し、現代の QA システムにおける重要な失敗モードを明らかにする。
  • 標準的な Retrieval-Augmented Generation (RAG) および agentic tool-use 手法のベースライン評価により、高品質な検索が必ずしも正しい推論を保証しないことが示された。
  • システムはメタデータグラフにおける関係チェーン、銀行台帳におけるポリシーグラウンディング、生物医学的コンテキストにおける結合テーブル QA で一貫して苦戦している。

このベンチマークは、将来の agentic QA システムにおいて堅牢な発見と忠実なクロスファイル合成メカニズムの必要性を浮き彫りにしている。