Les chercheurs ont présenté DramaSR-LRM, une approche robuste pour la reconnaissance du locuteur dans les drames télévisés longs qui exploite les grands modèles de raisonnement (LRM) pour attribuer avec précision les énoncés parlés aux personnages. Le travail présente également DramaSR-532K, un nouveau benchmark composé de 532K lignes de dialogue annotées couvrant plus de 900 personnages uniques.
- DramaSR-LRM agrège de manière autonome des preuves contextuelles via l'utilisation d'outils multimodaux, synthétisant les indices auditifs, linguistiques et visuels pour atteindre une attribution de haute fidélité.
- Le modèle surpasse significativement les bases existantes, en particulier sur les énoncés courts où les biométries acoustiques sont intrinsèquement peu fiables.
- Le benchmark DramaSR-532K accompagnant fournit un jeu de données à grande échelle nécessaire pour intégrer des entrées diverses dans le déchiffrage d'intrigues complexes.
Cette approche répond au défi de la compréhension vidéo complète en améliorant la précision de la reconnaissance du locuteur dans des scénarios avec des intrigues complexes et des données acoustiques limitées.