Les auteurs présentent un cadre de projection d'activité vocale multimodale (MM-VAP) qui étend la prédiction d'activité vocale basée uniquement sur l'audio aux entrées audio-visuelles synchronisées pour les robots sociaux dans des contextes de médiation. L'approche adapte les backbones audio-visuels pré-entraînés via une Adaptation à Faible Rang et utilise l'attention inter-orateur pour modéliser la dynamique relationnelle afin de projeter l'activité vocale future.
- Introduit une perte de cohérence sémantique pour régulariser l'espace de sortie à 256 états sur la base de schémas de dialogue de plus haut niveau.
- Démonstre des améliorations par rapport aux références actuelles sur les ensembles de données NoXi et NoXi+, particulièrement pour certains événements de tour de parole spécifiques.
- Valide l'adéquation à l'interaction homme-robot orientée médiation grâce à une évaluation supplémentaire sur le corpus Haru EDR.
Cette méthode permet aux robots d'anticiper la dynamique conversationnelle plutôt que de simplement réagir aux pauses, améliorant ainsi leur efficacité dans les scénarios d'interaction humain-humain.