लेखकों ने एक मल्टीमोडल वॉइस एक्टिविटी प्रोजेक्शन (MM-VAP) फ्रेमवर्क प्रस्तुत किया जो केवल ऑडियो पर आधारित वॉइस एक्टिविटी भविष्यवाणी को मध्यस्थ सेटिंग्स में सामाजिक रोबोटों के लिए सिंकनाइज़्ड ऑडियो-विजुअल इनपुट तक विस्तारित करता है। दृष्टिकोण लो-रैंक एडाप्टेशन के माध्यम से प्री-ट्रेन्ड ऑडियो-विजुअल बैकबोन को अनुकूलित करता है और भविष्य की वॉइस एक्टिविटी को प्रोजेक्ट करने के लिए रिलेशनल डायनेमिक्स को मॉडल करने के लिए इंटर-स्पीकर एटेंशन का उपयोग करता है।
- उच्च-स्तरीय संवाद पैटर्न के आधार पर 256-स्टेट आउटपुट स्पेस को रेगुलराइज़ करने के लिए एक सेमांटिक कंसिस्टेंसी लॉस पेश करता है।
- NoXi और NoXi+ डेटासेट पर वर्तमान बेलाइन की तुलना में सुधार दिखाता है, विशेष रूप से विशिष्ट टर्न-टेकिंग इवेंट्स के लिए।
- हारू EDR कॉरपस पर अतिरिक्त मूल्यांकन के माध्यम से मीडिएशन-ओरिएंटेड मानव-रोबोट इंटरैक्शन के लिए उपयुक्तता की पुष्टि करता है।
यह विधि रोबोटों को केवल विरामों पर प्रतिक्रिया करने के बजाय संवाद डायनेमिक्स का पूर्वानुमान लगाने में सक्षम बनाती है, जिससे मानव-मानव इंटरैक्शन परिदृश्यों में उनकी प्रभावकारिता बढ़ती है।