Los investigadores presentan LakeQuest, una evaluación validada por humanos con 9.846 pares de pregunta-respuesta diseñada para evaluar pipelines completos de recuperación y síntesis sobre lagos de datos realistas. El conjunto de datos abarca tres dominios diversos: metadatos de IA/ML, banca minorista e información biomédica multimodal sobre medicamentos, y empareja cada pregunta con punteros de evidencia exactos y conscientes de la modalidad.

  • LakeQuest aísla el descubrimiento de fuentes de la síntesis intermodal para exponer modos críticos de fallo en los sistemas QA modernos.
  • Las evaluaciones base de métodos estándar de Retrieval-Augmented Generation (RAG) y uso de herramientas por agentes revelan que una recuperación de alta calidad no garantiza un razonamiento correcto.
  • Los sistemas luchan consistentemente con la encadenación de relaciones en grafos de metadatos, la fundamentación de políticas en libros contables bancarios y el QA tabular conjunto en contextos biomédicos.

La evaluación destaca la necesidad de mecanismos robustos de descubrimiento y composición fiel entre archivos en futuros sistemas QA basados en agentes.