저자들은 중재자 설정에서 소셜 로봇을 위해 오디오 기반 음성 활동 예측을 동기화된 오디오-비주얼 입력으로 확장하는 다중 모달 음성 활동 예측(MM-VAP) 프레임워크를 제시했습니다. 이 접근 방식은 저랭크 적응을 통해 사전 학습된 오디오-비주얼 백본을 적응시키고, 화자 간 어텐션을 사용하여 미래의 음성 활동을 예측하기 위한 관계적 역학을 모델링합니다.
- 상위 수준의 대화 패턴에 기반하여 256 상태 출력 공간을 정규화하는 의미적 일관성 손실을 도입했습니다.
- NoXi 및 NoXi+J 데이터셋에서 현재 기준선 대비 개선을 입증했으며, 특히 특정 턴 테이킹 이벤트에서 두드러졌습니다.
- Haru EDR 코퍼스에서의 추가 평가를 통해 중재 지향 인간-로봇 상호작용에 대한 적합성을 검증했습니다.
이 방법은 로봇이 단순히 일시 정지에 반응하는 대신 대화 역학을 예측할 수 있게 하여, 인간 간 상호작용 시나리오에서의 효과를 높입니다.