マンハイム・データ・インテグレーション・ベンチマーク（MaDI-Bench）は、リレーショナルテーブルのエンドツーエンド統合のための初の公開ベンチマークとして導入され、分野における包括的な評価ツールの欠如に対処します。スキーママッチング、値正規化、エンティティブロッキング、エンティティマッチング、データ融合を含む統合プロセスのすべてのステップをカバーしています。

  • MaDI-Benchは、スキーママッチングから競合解決までフルパイプラインを必要とする複数のアプリケーションドメインにまたがる基本タスクを提供します。
  • このベンチマークには、データ統合システムの進歩に伴う急速な飽和を緩和するためにタスクバリアントを導出するための汎用メソッドが含まれています。
  • 検証は、人間が構築したパイプライン、ベスト・オブ・ブリード・パイプライン、およびLLMベースのパイプラインを使用して行われました。

このベンチマークにより、データ統合パイプラインのステップごとのパフォーマンスとエンドツーエンドのパフォーマンスの両方を測定可能になり、すべてのアーティファクトが公開ダウンロード可能です。