Para peneliti memperkenalkan DyadEE, sebuah dataset untuk mendeteksi entrainment emosional dalam pidato dwi-adik, dan mengusulkan TRACE, sebuah kerangka kerja tingkat jendela yang memodelkan interaksi ini sebagai urutan terurut dari embedding akustik. Studi ini menunjukkan bahwa menggabungkan konteks percakapan dan informasi hubungan secara signifikan meningkatkan akurasi deteksi.
- Dataset DyadEE berisi percakapan yang entrained secara emosional dan interaksi sintetis dengan entrainment yang terganggu melalui pertukaran pasangan dan resintesis emosi.
- TRACE memperlakukan setiap sampel sebagai jejak interaksi menggunakan representasi Whisper yang telah di-fine-tune untuk emosi daripada utterance yang di-pool.
- Model ini mencapai akurasi terbaik sebesar 97,01% pada dataset DyadEE dengan memanfaatkan pemodelan sadar hubungan temporal.