저자들은 스리 구루 그란트 사히브 지의 절에 대한 지속적인 노래 암송을 포함하는 시크 교의 키르탄 라이브 자막 작성을 위한 벤치마크 및 참조 시스템을 제시합니다. 오픈 어휘 전사와 달리 이 작업은 종교적으로 부적절한 오타를 피하기 위해 정전 성서로부터의 정확한 단어 대 단어 일치가 필요합니다.
- 벤치마크 v1은 4개의 수동 주석이 달린 녹음과 3개의 콜드 스타트 오프셋에서 파생된 12개의 평가 케이스를 포함하며, 총 약 57분의 점수화된 오디오가 됩니다.
- 미세 조정된 120M IndicConformer를 사용하는 참조 시스템은 가장 어려운 라이브 블라인드 변형에서 전체 프레임 정확도 57.9%를 달성하며, 하나의 Apple Silicon 코어에서 RTF는 약 0.05입니다.
- 채점 방법은 1초 해상도와 1초 칼라를 사용하여 프레임 정확도를 계산하며, 간격 허용 채점을 통해 이 작업의 특정 디스플레이 정확도 요구 사항을 해결합니다.
벤치마크, 참조 시스템 및 라이브 배포는 이 특수 분야에서 추가적인 개선을 촉진하기 위해 관대한 라이선스 하에 출시됩니다.