शोधकर्ताओं ने CausalDS पेश किया है, जो एजेंटिक डेटा-साइंस वर्कफ़्लो के भीतर कारण-तर्क का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। मौजूदा बेंचमार्क्स के विपरीत जो प्रतीकात्मक तर्क को यथार्थवादी विश्लेषण से अलग करते हैं, CausalDS संरचित कारण मॉडल के नमूनों का उपयोग करता है जो यथार्थवादी डोमेन पर आधारित संयुक्त प्राकृतिक भाषा की कहानियों के साथ जुड़े हुए हैं।
- प्रत्येक उदाहरण में संरचित कारण मॉडल से व्युत्पन्न अवलोकन डेटासेट और एक कथात्मक कहानी का संयोजन होता है।
- कार्य Judea Pearl की सीढ़ी के तीनों चरणों को कवर करते हैं, जो सरल भविष्यवाणी के परे जटिल कारण निष्कर्ष का मूल्यांकन करने की अनुमति देते हैं।
- बेंचमार्क मॉडलों से एक अवलोकन मॉडल द्वारा उत्पन्न अपूर्ण अवलोकनों को संभालने के लिए कई उपकरणों और कोडिंग कौशलों का उपयोग करने की मांग करता है।
- यह त्याग को एक प्रथम-श्रेणी का स्कोरित परिणाम मानता है, जो प्रतीकात्मक तर्क और उपकरण उपयोग के साथ अनिश्चितता मात्रांकन का मूल्यांकन करता है।
यह दृष्टिकोण प्रतीकात्मक कारण तर्क, डेटा-साइंस क्षमताओं, अनिश्चितता मात्रांकन और उपकरण उपयोग का संयुक्त रूप से मूल्यांकन करता है, जबकि मॉडलों के द्वारा केवल चयनित उदाहरणों को बस दोहराने के जोखिम को कम करता है।