마인츠 데이터 통합 벤치마크(MaDI-Bench)는 관계형 테이블의 엔드투엔드 통합을 위한 최초의 공개 벤치마크로 소개되었으며, 이 분야의 포괄적인 평가 도구의 부재를 해결합니다. 이는 스키마 매칭, 값 정규화, 엔티티 블로킹, 엔티티 매칭 및 데이터 퓨전을 포함한 통합 과정의 모든 단계를 다룹니다.
- MaDI-Bench는 스키마 매칭부터 충돌 해결까지 전체 파이프라인이 필요한 여러 응용 도메인에 걸쳐 기본 작업을 제공합니다.
- 이 벤치마크는 데이터 통합 시스템의 발전에 따른 빠른 포화 상태를 완화하기 위해 작업 변형을 유도하는 일반적인 방법을 포함합니다.
- 검증은 인간이 설계한 파이프라인, 최상의 파이프라인 및 LLM 기반 파이프라인을 사용하여 수행되었습니다.
이 벤치마크는 데이터 통합 파이프라인의 단계별 및 엔드투엔드 성능을 측정할 수 있게 하며, 모든 아티팩트는 공개 다운로드가 가능합니다.