Para peneliti memperkenalkan LakeQuest, sebuah benchmark yang divalidasi manusia terdiri dari 9.846 pasangan pertanyaan-jawaban yang dirancang untuk mengevaluasi pipeline retrieve-and-synthesize end-to-end di atas data lake realistis. Dataset ini mencakup tiga domain yang beragam—metadata AI/ML, perbankan ritel, dan informasi obat biomedis multimodal—dan memasangkan setiap pertanyaan dengan penunjuk bukti yang tepat dan sadar modalitas.

  • LakeQuest mengisolasi penemuan sumber dari sintesis lintas-modal untuk mengekspos mode kegagalan kritis dalam sistem QA modern.
  • Evaluasi baseline metode Retrieval-Augmented Generation (RAG) standar dan penggunaan alat agentic mengungkapkan bahwa pencarian berkualitas tinggi tidak menjamin penalaran yang benar.
  • Sistem secara konsisten kesulitan dengan chaining relasi dalam grafik metadata, grounding kebijakan dalam buku besar bank, dan QA tabel gabungan dalam konteks biomedis.

Benchmark ini menyoroti kebutuhan akan mekanisme penemuan yang kuat dan komposisi lintas-file yang setia dalam sistem QA agentic di masa depan.