Les chercheurs présentent LakeQuest, un benchmark validé par des humains composé de 9 846 paires question-réponse conçu pour évaluer les pipelines retrieve-and-synthesize de bout en bout sur des lacs de données réalistes. L'ensemble de données couvre trois domaines diversifiés — métadonnées IA/ML, banque de détail et informations biomédicales multimodales sur les médicaments — et associe à chaque question des pointeurs de preuve exacts et sensibles au modalité.
- LakeQuest isole la découverte de source de la synthèse inter-modalités pour exposer les modes d'échec critiques des systèmes QA modernes.
- Les évaluations de référence des méthodes standard Retrieval-Augmented Generation (RAG) et de l'utilisation d'outils agentic révèlent qu'une recherche de haute qualité ne garantit pas un raisonnement correct.
- Les systèmes peinent systématiquement avec le chaînage de relations dans les graphes de métadonnées, l'ancrage des politiques dans les livres bancaires et la QA tabulaire conjointe dans les contextes biomédicaux.
Le benchmark met en lumière le besoin de mécanismes robustes de découverte et de composition fidèle entre fichiers pour les futurs systèmes QA agentic.