शोधकर्ताओं ने डिजिटलकोच पेश किया, एक बहुआयामी डेटासेट जिसमें 72 मानव विशेषज्ञ-नोविस कंप्यूटर उपयोग कोचिंग सत्र शामिल हैं, जिनमें 28.1 घंटे के पांच सॉफ़्टवेयर एप्लिकेशन में स्क्रीन और इनपुट इवेंट रिकॉर्डिंग पर आधारित 22,752 संवाद चरण हैं।
- स्वचालित मूल्यांकन दिखाता है कि मॉडल मानवों की तुलना में अधिक सीधे निर्देश प्रदान करते हैं लेकिन कम व्याख्याएं, त्रुटि निदान और ज्ञान-जाँच प्रश्न देते हैं।
- जब कोचिंग विधियाँ स्थिर होती हैं, तो मॉडल के उच्चारण मानव संदर्भों से मिलते-जुलते होते हैं लेकिन दृश्य संदर्भ में कम आधारित रहते हैं।
- इंटरैक्टिव मूल्यांकन पुष्टि करते हैं कि मॉडल कोच सीखने वालों को गहरी भागीदारी के बिना निर्देशों का निष्क्रिय रूप से पालन करने पर मजबूर करते हैं।
यह डेटासेट सहयोगी और प्रोएक्टिव कंप्यूटर उपयोग कोचिंग एजेंट विकसित करने की नींव रखता है।