Авторы представляют мультимодальную систему проекции речевой активности (MM-VAP), которая расширяет предсказание речевой активности на основе только аудио до синхронизированных аудио-визуальных входных данных для социальных роботов в медиаторных настройках. Подход адаптирует предварительно обученные аудио-визуальные бэкбоны с помощью Low-Rank Adaptation и использует межспикерное внимание для моделирования реляционной динамики с целью проекции будущей речевой активности.
- Вводит потерю семантической согласованности для регуляризации 256-состоянного выходного пространства на основе диалоговых паттернов более высокого уровня.
- Демонстрирует улучшения по сравнению с текущими базовыми моделями на наборах данных NoXi и NoXi+, особенно для конкретных событий чередования реплик.
- Подтверждает пригодность для опосредованного человеко-роботного взаимодействия через дополнительную оценку на корпусе Haru EDR.
Этот метод позволяет роботам предвосхищать динамику разговора, а не просто реагировать на паузы, повышая их эффективность в сценариях взаимодействия человек-человек.