연구자들은 이진 음성에서 감정 동기화를 감지하기 위한 데이터셋인 DyadEE를 소개하고, 이러한 상호작용을 음향 임베딩의 순차적 시퀀스로 모델링하는 윈도우 레벨 프레임워크 TRACE를 제안합니다. 연구는 대화 맥락과 관계 정보를 통합하면 감지 정확도가 크게 향상됨을 보여줍니다.
- DyadEE 데이터셋에는 감정적으로 동기화된 대화와 파트너 교체 및 감정 재합성을 통해 동기화가 중단된 합성 상호작용이 모두 포함되어 있습니다.
- TRACE는 풀링된 발화 대신 감정 파인튜닝된 Whisper 표현을 사용하여 각 샘플을 상호작용 트레스로 처리합니다.
- 이 모델은 시간 관계 인식 모델링을 활용하여 DyadEE 데이터셋에서 97.01%의 최고 정확도를 달성했습니다.