मान्हाइम डेटा इंटीग्रेशन बेंचमार्क (MaDI-Bench) को रिलेशनल टेबल्स के एंड-टू-एड इंटीग्रेशन के लिए पहला सार्वजनिक बेंचमार्क के रूप में पेश किया गया है, जिससे क्षेत्र में व्यापक मूल्यांकन उपकरणों की कमी को दूर किया जाता है। यह स्कीमा मिलान, मान सामान्यीकरण, एंटिटी ब्लॉकिंग, एंटिटी मिलान और डेटा फ्यूजन सहित इंटीग्रेशन प्रक्रिया के सभी चरणों को कवर करता है।
- MaDI-Bench कई अनुप्रयोग डोमेन में फैली बेस टास्कें प्रदान करता है जिन्हें स्कीमा मिलान से संघर्ष समाधान तक पूरा पाइपलाइन की आवश्यकता होती है।
- बेंचमार्क में कार्य विविधताओं को व्युत्पन्न करने के लिए एक सामान्य विधि शामिल है, जो डेटा इंटीग्रेशन सिस्टम के उन्नत होने के साथ तेजी से संतृप्ति को कम करती है।
- मानव-निर्मित पाइपलाइन, सर्वश्रेष्ठ पाइपलाइन और LLM-आधारित पाइपलाइन का उपयोग करके वैलिडेशन किया गया था।
बेंचमार्क डेटा इंटीग्रेशन पाइपलाइन के चरण-दर-चरण और एंड-टू-एड प्रदर्शन को मापने की सुविधा देता है, और सभी आर्टिफैक्ट्स सार्वजनिक डाउनलोड के लिए उपलब्ध हैं।