يقدم الباحثون LakeQuest، وهو معيار تم التحقق منه من قبل البشر يتكون من 9,846 زوجًا من السؤال والإجابة مصمم لتقييم خطوط أنابيب retrieve-and-synthesize من البداية إلى النهاية عبر بحيرات بيانات واقعية. يمتد مجموعة البيانات عبر ثلاثة نطاقات متنوعة — metadata الذكاء الاصطناعي والتعلم الآلي، والخدمات المصرفية بالتجزئة، ومعلومات الأدوية الطبية الحيوية متعددة الوسائط — ويرتبط كل سؤال مع مؤشرات أدلة دقيقة واعية للوسيط.
- يعزل LakeQuest اكتشاف المصدر عن التركيب عبر الوسائط لكشف أنماط الفشل الحرجة في أنظمة QA الحديثة.
- تكشف التقييمات الأساسية لطرق Retrieval-Augmented Generation (RAG) القياسية واستخدام الأدوات agentic أن الاسترجاع عالي الجودة لا يضمن استنتاجًا صحيحًا.
- تكافح الأنظمة باستمرار مع تسلسل العلاقات في رسوم بيانية للمعلومات الوصفية، وتأسيس السياسات في دفاتر البنوك، والاستعلام عن الجداول المشتركة في السياقات الطبية الحيوية.
يبرز المعيار الحاجة إلى آليات اكتشاف قوية وتركيب موثوق عبر الملفات في أنظمة QA agentic المستقبلية.