Para penulis menyajikan kerangka Proyeksi Aktivitas Suara Multimodal (MM-VAP) yang memperluas prediksi aktivitas suara berbasis audio saja ke input audio-visual yang disinkronkan untuk robot sosial dalam pengaturan mediator. Pendekatan ini mengadaptasi backbone audio-visual yang telah dilatih sebelumnya melalui Adaptasi Rank Rendah dan menggunakan perhatian antar-pembicara untuk memodelkan dinamika relasional guna memproyeksikan aktivitas suara di masa depan.
- Memperkenalkan kerugian konsistensi semantik untuk menormalisasi ruang output 256 keadaan berdasarkan pola dialog tingkat yang lebih tinggi.
- Menunjukkan peningkatan dibandingkan baseline saat ini pada dataset NoXi dan NoXi+, khususnya untuk peristiwa pergantian giliran tertentu.
- Memvalidasi kesesuaian untuk interaksi manusia-robot berorientasi mediasi melalui evaluasi tambahan pada korpus Haru EDR.
Metode ini memungkinkan robot mengantisipasi dinamika percakapan daripada hanya bereaksi terhadap jeda, meningkatkan efektivitas mereka dalam skenario interaksi manusia-manusia.