Los autores presentan un marco de Proyección de Actividad de Voz Multimodal (MM-VAP) que extiende la predicción de actividad de voz solo de audio a entradas audiovisuales sincronizadas para robots sociales en configuraciones de mediación. El enfoque adapta backbones audiovisuales preentrenados mediante Low-Rank Adaptation y utiliza atención inter-orador para modelar dinámicas relacionales con el fin de proyectar la actividad de voz futura.
- Introduce una pérdida de consistencia semántica para regularizar el espacio de salida de 256 estados basado en patrones de diálogo de nivel superior.
- Demuestra mejoras sobre las líneas base actuales en los conjuntos de datos NoXi y NoXi+, particularmente para eventos específicos de toma de turnos.
- Valida la idoneidad para la interacción humano-robot orientada a la mediación mediante una evaluación adicional en el corpus Haru EDR.
Este método permite a los robots anticipar las dinámicas conversacionales en lugar de simplemente reaccionar a las pausas, mejorando su efectividad en escenarios de interacción humano-humano.