DramaSR-LRM 利用推理模型提升长篇幅电视剧中的说话人识别

研究人员推出了 DramaSR-LRM，这是一种用于长篇幅电视剧中说话人识别的稳健方法，它利用大型推理模型（LRM）将口语 utterances 准确地归因于角色。该工作还提出了 DramaSR-532K，这是一个由 532K 条标注对话行组成的新基准，涵盖超过 900 个独特角色。

• DramaSR-LRM 通过多模态工具使用自主聚合上下文证据，综合听觉、语言和视觉线索以实现高保真归因。
• 该模型显著优于现有基线，特别是在声学生物特征本质上不可靠的短 utterances 上表现突出。
• 配套的 DramaSR-532K 基准提供了一个大规模数据集，对于在复杂剧情破译中整合多样化输入至关重要。

这种方法通过提高在具有复杂剧情和有限声学数据的场景中的说话人识别准确率，解决了全面视频理解的挑战。