शोधकर्ताओं ने DyadEE पेश किया, जो द्वैध बोलचाल में भावनात्मक एंट्रेनमेंट का पता लगाने के लिए एक डेटासेट है, और TRACE प्रस्तावित किया, जो एक विंडो-स्तर फ्रेमवर्क है जो इन अंतःक्रियाओं को ध्वनि एम्बेडिंग्स के क्रमित अनुक्रमों के रूप में मॉडल करता है। अध्ययन दिखाता है कि संवादात्मक संदर्भ और संबंध जानकारी को शामिल करने से पता लगाने की सटीकता में महत्वपूर्ण सुधार होता है।
- DyadEE डेटासेट में भावनात्मक रूप से एंट्रेन किए गए संवाद और साझेदार बदलाव और भावना पुनः संश्लेषण के माध्यम से विक्षुब्ध एंट्रेनमेंट वाले कृत्रिम अंतःक्रियाएं दोनों शामिल हैं।
- TRACE प्रत्येक नमूने को एक अंतःक्रिया ट्रैस के रूप में मानता है और पूल्ड उच्चारणों के बजाय भावना फाइन-ट्यून किए गए Whisper प्रतिनिधित्वों का उपयोग करता है।
- मॉडल समय संबंध-जागरूक मॉडलिंग का लाभ उठाकर DyadEE डेटासेट पर 97.01% की सर्वोत्तम सटीकता प्राप्त करता है।