연구자들은 에이전트 기반 데이터 과학 워크플로우 내에서 인과 추론을 평가하도록 설계된 벤치마크인 CausalDS를 소개했습니다. 기존 벤치마크가 기호적 추론과 현실적인 분석을 분리하는 것과 달리, CausalDS는 현실적인 도메인에 기반한 합성 자연어 스토리와 페어링된 샘플링 구조적 인과 모델을 사용합니다.

  • 각 인스턴스는 구조적 인과 모델에서 파생된 관측 데이터셋과 내러티브 스토리를 결합합니다.
  • 작업은 Judea Pearl의 3단계 모두에 걸쳐 있어 단순 예측을 넘어 복잡한 인과 추론을 평가할 수 있습니다.
  • 이 벤치마크는 모델이 관측 모델에서 생성된 불완전한 관측치를 처리하기 위해 여러 도구와 코딩 기술을 사용해야 합니다.
  • 기권(abstention)을 일급 점수 대상 결과로 취급하여, 기호적 추론과 도구 사용과 함께 불확실성 정량화를 평가합니다.

이 접근 방식은 모델이 선별된 예시를 단순히 암송하는 위험을 줄이면서 기호적 인과 추론, 데이터 과학 능력, 불확실성 정량화 및 도구 사용을 종합적으로 평가합니다.