Los investigadores presentan CausalDS, un benchmark diseñado para evaluar el razonamiento causal dentro de flujos de trabajo de ciencia de datos basados en agentes. A diferencia de los benchmarks existentes que separan el razonamiento simbólico del análisis realista, CausalDS utiliza modelos causales estructurales muestreados combinados con historias sintéticas de lenguaje natural fundamentadas en dominios realistas.
- Cada instancia combina un conjunto de datos observacionales derivado del modelo causal estructural con una historia narrativa.
- Las tareas abarcan las tres escalones de la escalera de Judea Pearl, permitiendo la evaluación de inferencia causal compleja más allá de la predicción simple.
- El benchmark requiere que los modelos utilicen múltiples herramientas y habilidades de codificación para manejar observaciones imperfectas generadas por un modelo de observación.
- Trata la abstención como un resultado evaluado de primera clase, midiendo la cuantificación de la incertidumbre junto con el razonamiento simbólico y el uso de herramientas.
Este enfoque evalúa conjuntamente el razonamiento causal simbólico, las capacidades de ciencia de datos, la cuantificación de la incertidumbre y el uso de herramientas, mientras reduce el riesgo de que los modelos simplemente repitan ejemplos curados.