O Benchmark de Integração de Dados de Mannheim (MaDI-Bench) é apresentado como o primeiro benchmark público para integração de ponta a ponta de tabelas relacionais, abordando a falta de ferramentas de avaliação abrangentes na área. Ele abrange todas as etapas do processo de integração, incluindo correspondência de esquemas, normalização de valores, bloqueio de entidades, correspondência de entidades e fusão de dados.
- O MaDI-Bench fornece tarefas base que abrangem vários domínios de aplicação que exigem o pipeline completo, desde a correspondência de esquemas até a resolução de conflitos.
- O benchmark inclui um método genérico para derivar variantes de tarefas, mitigando a saturação rápida à medida que os sistemas de integração de dados avançam.
- A validação foi realizada usando pipelines projetados por humanos, um pipeline de melhor qualidade e um pipeline baseado em LLM.
O benchmark permite medir o desempenho tanto passo a passo quanto de ponta a ponta dos pipelines de integração de dados, com todos os artefatos disponíveis para download público.