Исследователи представили DramaSR-LRM, надежный подход к распознаванию говорящих в длинных телесериалах, который использует большие модели рассуждений (LRM) для точного определения персонажей, произносящих реплики. Работа также представляет DramaSR-532K, новый бенчмарк, состоящий из 532K аннотированных диалоговых строк более чем у 900 уникальных персонажей.

  • DramaSR-LRM автономно агрегирует контекстные доказательства с помощью мультимодального использования инструментов, синтезируя аудиальные, лингвистические и визуальные признаки для достижения высококачественного определения.
  • Модель значительно превосходит существующие базовые варианты, особенно на коротких репликах, где акустическая биометрия по своей природе ненадежна.
  • Сопровождающий бенчмарк DramaSR-532K предоставляет крупномасштабный набор данных, необходимый для интеграции разнообразных входных данных при расшифровке сложных сюжетов.

Этот подход решает задачу комплексного понимания видео за счет повышения точности распознавания говорящих в сценариях со сложными сюжетами и ограниченным объемом акустических данных.