研究者らは、エージェント型データサイエンスワークフロー内の因果推論を評価するために設計されたベンチマークであるCausalDSを発表した。既存のベンチマークが記号的推論と現実的な分析を分離しているのとは対照的に、CausalDSは現実的なドメインに根ざした合成自然言語ストーリーとペアリングされたサンプリング構造的因果モデルを使用する。

  • 各インスタンスは、構造的因果モデルから派生した観測データセットと物語的ストーリーを組み合わせている。
  • タスクはJudea Pearlの3つの段階すべてにまたがり、単純な予測を超えた複雑な因果推論の評価を可能にする。
  • このベンチマークでは、モデルが観測モデルによって生成された不完全な観測値を処理するために複数のツールとコーディングスキルを使用する必要がある。
  • Abstention（回答拒否）を第一級のスコア対象結果として扱い、記号的推論やツール使用とともに不確実性の定量化を評価する。

このアプローチは、記号的因果推論、データサイエンス能力、不確実性の定量化、ツール使用を同時に評価しつつ、モデルがキュレーションされた例を単に暗唱するリスクを低減する。