연구자들은 현실적인 데이터 레이크에서 엔드투엔드 retrieve-and-synthesize 파이프라인을 평가하기 위해 설계된 9,846개 질문-답변 쌍으로 구성된 인간 검증 벤치마크인 LakeQuest를 소개합니다. 이 데이터셋은 AI/ML 메타데이터, 소매 은행, 멀티모달 생물의약품 정보라는 세 가지 다양한 도메인을 아우르며, 각 질문에 정확한 모달리티 인식 증거 포인터를 페어링합니다.

  • LakeQuest는 소스 발견과 크로스모달 합성을 분리하여 현대 QA 시스템의 중요한 실패 모드를 드러냅니다.
  • 표준 Retrieval-Augmented Generation (RAG) 및 agentic tool-use 방법의 베이스라인 평가는 고품질 검색이 올바른 추론을 보장하지 않음을 보여줍니다.
  • 시스템은 메타데이터 그래프의 관계 체이닝, 은행 장부에서의 정책 그라운딩, 생물의학적 컨텍스트의 결합 테이블 QA에서 일관되게 어려움을 겪습니다.

이 벤치마크는 향후 agentic QA 시스템에 견고한 발견과 충실한 크로스파일 구성 메커니즘의 필요성을 강조합니다.