Pesquisadores introduziram o DramaSR-LRM, uma abordagem robusta para reconhecimento de falantes em dramas de TV de formato longo que aproveita grandes modelos de raciocínio (LRM) para atribuir com precisão utterances faladas aos personagens. O trabalho também apresenta o DramaSR-532K, um novo benchmark composto por 532K linhas de diálogo anotadas em mais de 900 personagens únicos.
- O DramaSR-LRM agrega autonomamente evidências contextuais por meio de uso multimodal de ferramentas, sintetizando pistas auditivas, linguísticas e visuais para alcançar uma atribuição de alta fidelidade.
- O modelo supera significativamente as linhas de base existentes, particularmente em utterances curtas onde a biometria acústica é inerentemente pouco confiável.
- O benchmark acompanhante DramaSR-532K fornece um conjunto de dados em larga escala necessário para integrar entradas diversas na decifração de enredos complexos.
Esta abordagem aborda o desafio da compreensão abrangente de vídeo ao melhorar a precisão do reconhecimento de falantes em cenários com enredos complexos e dados acústicos limitados.