Benchmark Integrasi Data Mannheim (MaDI-Bench) diperkenalkan sebagai benchmark publik pertama untuk integrasi tabel relasional secara end-to-end, mengatasi kurangnya alat evaluasi komprehensif di bidang ini. Ini mencakup semua langkah proses integrasi, termasuk pencocokan skema, normalisasi nilai, pemblokiran entitas, pencocokan entitas, dan fusi data.
- MaDI-Bench menyediakan tugas dasar yang mencakup beberapa domain aplikasi yang memerlukan pipeline penuh dari pencocokan skema hingga resolusi konflik.
- Benchmark ini mencakup metode generik untuk menurunkan varian tugas guna mengurangi saturasi cepat seiring kemajuan sistem integrasi data.
- Validasi dilakukan menggunakan pipeline buatan manusia, pipeline terbaik, dan pipeline berbasis LLM.
Benchmark ini memungkinkan pengukuran kinerja langkah demi langkah dan end-to-end dari pipeline integrasi data, dengan semua artefak tersedia untuk unduhan publik.