Исследователи представляют CausalDS, бенчмарк, предназначенный для оценки причинно-следственного мышления в агентных рабочих процессах науки о данных. В отличие от существующих бенчмарков, которые разделяют символическое рассуждение и реалистичный анализ, CausalDS использует выборочные структурные причинные модели, связанные с синтетическими историями на естественном языке, основанными на реалистичных доменах.
- Каждый экземпляр объединяет наблюдательный набор данных, полученный из структурной причинной модели, и нарративную историю.
- Задачи охватывают все три ступени лестницы Иуды Пирла, что позволяет оценивать сложный причинный вывод за пределами простого предсказания.
- Бенчмарк требует от моделей использовать несколько инструментов и навыки программирования для обработки несовершенных наблюдений, сгенерированных моделью наблюдения.
- Он рассматривает отказ от ответа как первоклассный оцениваемый результат, измеряя количественную оценку неопределенности наряду с символическим рассуждением и использованием инструментов.
Этот подход совместно оценивает символическое причинно-следственное рассуждение, возможности науки о данных, количественную оценку неопределенности и использование инструментов, одновременно снижая риск того, что модели будут просто повторять курируемые примеры.