研究者らは、大規模推論モデル（LRM）を活用して、話された発話をキャラクターに正確に帰属させる、長編TVドラマにおける音声認識のための堅牢なアプローチであるDramaSR-LRMを発表した。また、900人以上の一意のキャラクターにわたる532Kの注釈付き対話行で構成される新しいベンチマークであるDramaSR-532Kも提示している。

  • DramaSR-LRMはマルチモーダルツール使用を通じて文脈証拠を自律的に集約し、聴覚的、言語的、視覚的な手がかりを統合して高忠実度の帰属を実現する。
  • このモデルは既存のベースラインを大幅に上回り、特に音響生体認証が本質的に信頼性に欠ける短い発話において顕著な性能を示す。
  • 付属のDramaSR-532Kベンチマークは、複雑なストーリーラインの解読において多様な入力を統合するために必要な大規模データセットを提供する。

このアプローチは、複雑なストーリーラインと限られた音響データが存在するシナリオにおける音声認識精度を向上させることで、包括的なビデオ理解の課題に対処している。