يقدم المؤلفون إطار عمل لإسقاط نشاط الصوت متعدد الوسائط (MM-VAP) يوسع التنبؤ بنشاط الصوت المعتمد على الصوت فقط ليشمل المدخلات السمعية-البصرية المتزامنة للروبوتات الاجتماعية في إعدادات الوسيط. تتكيف هذه الطريقة مع النماذج الخلفية السمعية-البصرية المُدرَّبة مسبقًا عبر التكيف منخفض الرتبة (Low-Rank Adaptation) وتستخدم الانتباه بين المتحدثين لنمذجة الديناميكيات العلائقية للتنبؤ بنشاط الصوت المستقبلي.
- تقدم خسارة اتساق دلالي لتطبيع مساحة الإخراج ذات الـ 256 حالة بناءً على أنماط الحوار الأعلى مستوى.
- تُظهر تحسنًا مقارنة بالخطوط الأساسية الحالية على مجموعات البيانات NoXi وNoXi+، لا سيما فيما يتعلق بأحداث تبادل الأدوار المحددة.
- توثيق الملاءمة للتفاعل بين الإنسان والروبوت الموجه نحو الوساطة من خلال تقييم إضافي على مجموعة بيانات Haru EDR.
تتيح هذه الطريقة للروبوتات توقع ديناميكيات المحادثة بدلاً من مجرد الاستجابة للصمت، مما يعزز فعاليتها في سيناريوهات التفاعل بين البشر.