Para peneliti telah memperkenalkan DramaSR-LRM, sebuah pendekatan yang kuat untuk pengenalan pembicara dalam drama TV berdurasi panjang yang memanfaatkan model penalaran besar (LRM) untuk mengaitkan ucapan yang diucapkan kepada karakter secara akurat. Karya ini juga menyajikan DramaSR-532K, sebuah benchmark baru yang terdiri dari 532K baris dialog ber anotasi di lebih dari 900 karakter unik.
- DramaSR-LRM secara otonom mengumpulkan bukti kontekstual melalui penggunaan alat multimodal, mensintesis isyarat auditori, linguistik, dan visual untuk mencapai pengaitan dengan fidelitas tinggi.
- Model ini secara signifikan mengungguli baseline yang ada, terutama pada ucapan pendek di mana biometrik akustik secara inheren tidak dapat diandalkan.
- Benchmark DramaSR-532K yang menyertainya menyediakan dataset skala besar yang diperlukan untuk mengintegrasikan input beragam dalam penguraian alur cerita yang kompleks.
Pendekatan ini mengatasi tantangan pemahaman video komprehensif dengan meningkatkan akurasi pengenalan pembicara dalam skenario dengan alur cerita yang kompleks dan data akustik terbatas.