Pesquisadores apresentam o DyadEE, um conjunto de dados para detectar entrainment emocional em fala diádica, e propõem o TRACE, uma estrutura em nível de janela que modela essas interações como sequências ordenadas de embeddings acústicos. O estudo demonstra que incorporar contexto conversacional e informações de relacionamento melhora significativamente a precisão da detecção.

  • O conjunto de dados DyadEE contém tanto conversas emocionalmente entrainadas quanto interações sintéticas com entrainment interrompido através de troca de parceiros e resíntese de emoção.
  • O TRACE trata cada amostra como um traço de interação usando representações do Whisper afinadas para emoção, em vez de utterances agrupadas.
  • O modelo alcança uma precisão máxima de 97.01% no conjunto de dados DyadEE ao alavancar o modelamento consciente da relação temporal.