डेटा विश्लेषण में बड़े भाषा मॉडलों (LLMs) का मूल्यांकन करने वाले वर्तमान बेंचमार्क्स अक्सर वास्तविक दुनिया के सेटिंग्स को प्रतिबिंबित करने में विफल रहते हैं, जबकि वे छोटे टेबल से तथ्यों की पुनः प्राप्ति पर केंद्रित होते हैं और बहुरूपी टेबल डेटासेट और अन्वेषणात्मक अंतर्दृष्टि खोज जैसे चुनौतियों को नजरअंदाज करते हैं। इस समस्या को हल करने के लिए, लेखकों ने DataGovBench पेश किया है, जो सरकारी खुले डेटा से व्युत्पन्न एक बेंचमार्क है जिसे व्यावहारिक परिदृश्यों में LLMs का मूल्यांकन करने के लिए डिज़ाइन किया गया है।
- Table QA कार्य जटिल विघटनीय प्रश्नों को हल करने और पाठ्य उत्तर या दृश्यीकरण उत्पन्न करने की आवश्यकता है।
- Table Insight कार्य मॉडलों की अन्वेषणात्मक डेटा विश्लेषण के माध्यम से विशेषज्ञ-स्तर के निष्कर्ष उत्पन्न करने की क्षमता का मूल्यांकन करता है।
- एजेंटिक फ्रेमवर्क्स के साथ और बिना, आधुनिक LLMs के साथ व्यापक प्रयोगों ने दोनों कार्यों में महत्वपूर्ण प्रदर्शन अंतर को उजागर किया है।
ये परिणाम सुझाव देते हैं कि वर्तमान LLM-आधारित सिस्टम वास्तविक दुनिया के डेटा विश्लेषण की मांगों को पूरा करने से बहुत दूर हैं। DataGovBench विश्लेषणात्मक प्रश्नों का उत्तर देने और डेटा से अंतर्दृष्टि खोजने में सक्षम LLMs पर शोध को आगे बढ़ाने के लिए एक चुनौतीपूर्ण बेंचमार्क प्रदान करता है।