Исследователи представляют LakeQuest, проверенный человеком бенчмарк из 9 846 пар вопрос-ответ, предназначенный для оценки сквозных конвейеров «поиск и синтез» на реалистичных озёрах данных. Набор данных охватывает три разнообразные области — метаданные ИИ/ML, розничный банкинг и мультимодальную биомедицинскую информацию о лекарствах — и сопоставляет каждый вопрос с точными указателями доказательств с учётом модальности.
- LakeQuest изолирует обнаружение источников от кросс-модального синтеза, чтобы выявить критические режимы отказа в современных системах QA.
- Базовые оценки стандартных методов Retrieval-Augmented Generation (RAG) и агентного использования инструментов показывают, что высококачественный поиск не гарантирует правильного рассуждения.
- Системы последовательно испытывают трудности с цепочечной связью отношений в графах метаданных, обоснованием политики в банковских реестрах и совместным табличным QA в биомедицинских контекстах.
Бенчмарк подчёркивает необходимость надёжных механизмов обнаружения и достоверного кросс-файлового композициирования в будущих агентных системах QA.