Les chercheurs présentent CausalDS, un benchmark conçu pour évaluer le raisonnement causal au sein des flux de travail de science des données basés sur des agents. Contrairement aux benchmarks existants qui séparent le raisonnement symbolique de l'analyse réaliste, CausalDS utilise des modèles causaux structurels échantillonnés associés à des histoires naturelles synthétiques ancrées dans des domaines réalistes.
- Chaque instance combine un jeu de données observationnelles dérivé du modèle causal structurel avec une histoire narrative.
- Les tâches couvrent les trois échelons de la pyramide de Judea Pearl, permettant l'évaluation d'une inférence causale complexe au-delà de la simple prédiction.
- Le benchmark exige que les modèles utilisent plusieurs outils et compétences en codage pour gérer des observations imparfaites générées par un modèle d'observation.
- Il traite l'abstention comme un résultat noté de premier ordre, évaluant la quantification de l'incertitude aux côtés du raisonnement symbolique et de l'utilisation d'outils.
Cette approche évalue conjointement le raisonnement causal symbolique, les capacités en science des données, la quantification de l'incertitude et l'utilisation d'outils, tout en réduisant le risque que les modèles se contentent de répéter des exemples curatés.