غالباً ما تفشل المعايير الحالية لتقييم نماذج اللغات الكبيرة (LLMs) في التحليل البيانات في عكس الإعدادات الواقعية من خلال التركيز على استرجاع الحقائق من جداول صغيرة بينما تتجاهل تحديات مثل مجموعات البيانات متعددة الجداول الضخمة واكتشاف الرؤى الاستكشافية. ولمعالجة هذا، يقدم المؤلفون DataGovBench، وهو معيار مشتق من البيانات المفتوحة الحكومية مصمم لتقييم نماذج LLM في السيناريوهات العملية.
- تتطلب مهمة جدول الأسئلة والأجوبة (Table QA) حل أسئلة معقدة قابلة للتجزئة وإنتاج إجابات نصية أو تصورات بيانية.
- تقيّم مهمة رؤى الجدول (Table Insight) قدرة النماذج على توليد نتائج بمستوى الخبراء من خلال التحليل الاستكشافي للبيانات.
- كشفت التجارب الشاملة مع أحدث نماذج LLM، سواء مع أو بدون أطر عمل وكيلية (agentic frameworks)، عن فجوات أداء كبيرة عبر كلتا المهمتين.
تشير هذه النتائج إلى أن الأنظمة الحالية القائمة على نماذج LLM لا تزال بعيدة جداً عن تلبية متطلبات تحليل البيانات الواقعية. يوفر DataGovBench معياراً صعباً لتقدم البحث في نماذج LLM القادرة على الاستعلامات التحليلية واكتشاف الرؤى من البيانات.