Los investigadores han presentado DramaSR-LRM, un enfoque robusto para el reconocimiento de hablantes en dramas de TV de formato largo que aprovecha grandes modelos de razonamiento (LRM) para atribuir con precisión las utterances habladas a los personajes. El trabajo también presenta DramaSR-532K, un nuevo benchmark que consta de 532K líneas de diálogo anotadas en más de 900 personajes únicos.
- DramaSR-LRM agrega autónomamente evidencia contextual mediante el uso multimodal de herramientas, sintetizando pistas auditivas, lingüísticas y visuales para lograr una atribución de alta fidelidad.
- El modelo supera significativamente a las líneas base existentes, particularmente en utterances cortas donde la biometría acústica es inherentemente poco fiable.
- El benchmark acompañante DramaSR-532K proporciona un conjunto de datos a gran escala necesario para integrar entradas diversas en la descifración de tramas complejas.
Este enfoque aborda el desafío de la comprensión integral del video mejorando la precisión del reconocimiento de hablantes en escenarios con tramas complejas y datos acústicos limitados.