Pesquisadores introduzem o CausalDS, um benchmark projetado para avaliar o raciocínio causal dentro de fluxos de trabalho de ciência de dados baseados em agentes. Diferente dos benchmarks existentes que separam o raciocínio simbólico da análise realista, o CausalDS utiliza modelos causais estruturais amostrados combinados com histórias sintéticas de linguagem natural fundamentadas em domínios realistas.
- Cada instância combina um conjunto de dados observacionais derivado do modelo causal estrutural com uma história narrativa.
- As tarefas abrangem os três degraus da escada de Judea Pearl, permitindo a avaliação de inferência causal complexa além da previsão simples.
- O benchmark exige que os modelos usem múltiplas ferramentas e habilidades de codificação para lidar com observações imperfeitas geradas por um modelo de observação.
- Ele trata a abstenção como um resultado avaliado de primeira classe, medindo a quantificação da incerteza junto com o raciocínio simbólico e o uso de ferramentas.
Esta abordagem avalia conjuntamente o raciocínio causal simbólico, as capacidades de ciência de dados, a quantificação da incerteza e o uso de ferramentas, ao mesmo tempo em que reduz o risco de os modelos simplesmente repetirem exemplos curados.