研究人员推出了 CausalDS，这是一个旨在评估代理式数据科学工作流中因果推理的基准测试。与将符号推理与现实分析分离的现有基准测试不同，CausalDS 使用采样的结构因果模型，并结合扎根于现实领域的合成自然语言故事。

  • 每个实例结合了源自结构因果模型的观测数据集和叙事故事。
  • 任务涵盖 Judea Pearl 阶梯的所有三个层级，允许对超越简单预测的复杂因果推断进行评估。
  • 该基准测试要求模型使用多种工具和编码技能来处理由观测模型生成的不完美的观测值。
  • 它将弃权视为一等评分结果，在评估符号推理和工具使用的同时，也对不确定性量化进行评估。

这种方法联合评估了符号因果推理、数据科学能力、不确定性量化和工具使用，同时降低了模型仅仅鹦鹉学舌地重复精心挑选的示例的风险。