DramaSR-LRM은 추론 모델을 활용하여 장편 TV 드라마의 화자 인식 성능을 향상시킵니다

연구자들은 대규모 추론 모델(LRM)을 활용하여 긴 발화를 캐릭터에 정확하게 귀속시키는 장편 TV 드라마를 위한 화자 인식을 위한 강력한 접근법인 DramaSR-LRM을 소개했습니다. 또한 900명 이상의 고유한 캐릭터에 걸쳐 532K개의 주석이 달린 대화 라인으로 구성된 새로운 벤치마크인 DramaSR-532K도 제시했습니다.

• DramaSR-LRM은 멀티모달 도구 사용을 통해 문맥적 증거를 자율적으로 집계하여 청각적, 언어적, 시각적 단서를 통합하여 높은 충실도의 귀속을 달성합니다.
• 이 모델은 기존 베이스라인을 크게 상회하며, 특히 음향 생체 인증이 본질적으로 신뢰할 수 없는 짧은 발화에서 두드러진 성능을 보입니다.
• 동봉된 DramaSR-532K 벤치마크는 복잡한 스토라인 해독에 다양한 입력을 통합하는 데 필요한 대규모 데이터셋을 제공합니다.

이 접근법은 복잡하고 제한된 음향 데이터가 있는 시나리오에서 화자 인식 정확도를 향상시킴으로써 포괄적인 비디오 이해의 과제를 해결합니다.