Pesquisadores apresentam o LakeQuest, uma avaliação validada por humanos com 9.846 pares de pergunta-resposta projetada para avaliar pipelines completos de recuperação e síntese sobre lagos de dados realistas. O conjunto de dados abrange três domínios diversos: metadados de IA/ML, varejo bancário e informação biomédica multimodal sobre medicamentos, e emparelha cada pergunta com ponteiros de evidência exatos e conscientes da modalidade.

  • O LakeQuest isola a descoberta de fontes da síntese intermodal para expor modos críticos de falha em sistemas QA modernos.
  • Avaliações base de métodos padrão de Retrieval-Augmented Generation (RAG) e uso de ferramentas por agentes revelam que uma recuperação de alta qualidade não garante raciocínio correto.
  • Os sistemas lutam consistentemente com a cadeia de relações em grafos de metadados, fundamentação de políticas em livros contábeis bancários e QA tabular conjunto em contextos biomédicos.

A avaliação destaca a necessidade de mecanismos robustos de descoberta e composição fiel entre arquivos em futuros sistemas QA baseados em agentes.