Os autores apresentam um framework de Projeção de Atividade de Voz Multimodal (MM-VAP) que estende a previsão de atividade de voz apenas com áudio para entradas audiovisuais sincronizadas para robôs sociais em configurações de mediação. A abordagem adapta backbones audiovisuais pré-treinados por meio de Low-Rank Adaptation e utiliza atenção inter-orador para modelar dinâmicas relacionais visando projetar a atividade de voz futura.
- Introduz uma perda de consistência semântica para regularizar o espaço de saída de 256 estados com base em padrões de diálogo de nível superior.
- Demonstra melhorias em relação às linhas de base atuais nos conjuntos de dados NoXi e NoXi+, particularmente para eventos específicos de alternância de turnos.
- Valida a adequação para interação humano-robô orientada à mediação por meio de avaliação adicional no corpus Haru EDR.
Este método permite que os robôs antecipem as dinâmicas conversacionais em vez de meramente reagir a pausas, aumentando sua eficácia em cenários de interação humano-humano.