Le benchmark d'intégration de données de Mannheim (MaDI-Bench) est présenté comme le premier benchmark public pour l'intégration de bout en bout de tables relationnelles, répondant au manque d'outils d'évaluation complets dans le domaine. Il couvre toutes les étapes du processus d'intégration, y compris la correspondance des schémas, la normalisation des valeurs, le blocage des entités, la correspondance des entités et la fusion des données.
- MaDI-Bench fournit des tâches de base couvrant plusieurs domaines d'application qui nécessitent le pipeline complet, de la correspondance des schémas à la résolution de conflits.
- Le benchmark inclut une méthode générique pour dériver des variantes de tâches afin d'atténuer la saturation rapide à mesure que les systèmes d'intégration de données progressent.
- La validation a été effectuée en utilisant des pipelines conçus par des humains, un pipeline de pointe et un pipeline basé sur un LLM.
Le benchmark permet de mesurer les performances étape par étape et de bout en bout des pipelines d'intégration de données, tous les artefacts étant disponibles pour le téléchargement public.