Para peneliti memperkenalkan CausalDS, sebuah benchmark yang dirancang untuk mengevaluasi penalaran kausal dalam alur kerja sains data berbasis agen. Berbeda dengan benchmark yang ada yang memisahkan penalaran simbolik dari analisis realistis, CausalDS menggunakan model kausal struktural yang disampel dipasangkan dengan cerita bahasa alami sintetis yang berlandaskan pada domain realistis.
- Setiap instance menggabungkan dataset observasional yang diturunkan dari model kausal struktural dengan cerita naratif.
- Tugas mencakup ketiga anak tangga Judea Pearl, memungkinkan evaluasi inferensi kausal kompleks di luar prediksi sederhana.
- Benchmark ini mengharuskan model menggunakan berbagai alat dan keterampilan pemrograman untuk menangani observasi tidak sempurna yang dihasilkan oleh model observasi.
- Ini memperlakukan abstain sebagai hasil bernilai kelas pertama, mengevaluasi kuantifikasi ketidakpastian bersama dengan penalaran simbolik dan penggunaan alat.
Pendekatan ini secara bersamaan mengevaluasi penalaran kausal simbolik, kemampuan sains data, kuantifikasi ketidakpastian, dan penggunaan alat sambil mengurangi risiko model hanya menirukan contoh yang dikurasi.