Os autores apresentam um benchmark e um sistema de referência para a legendagem ao vivo do Kirtan sikh, que envolve a recitação cantada contínua de versos do Sri Guru Granth Sahib Ji. Diferente da transcrição com vocabulário aberto, esta tarefa requer correspondências exatas palavra por palavra do texto canônico para evitar erros ortográficos religiosamente inadequados.
- O benchmark v1 inclui 12 casos de avaliação derivados de quatro gravações anotadas manualmente e três deslocamentos de cold-start, totalizando aproximadamente 57 minutos de áudio avaliado.
- Um sistema de referência usando um IndicConformer de 120M fine-tuned atinge 57,9% de precisão geral de frames na variante mais difícil de live blind, com um RTF de ~0.05 em um núcleo do Apple Silicon.
- O método de pontuação calcula a precisão de frames com resolução de 1s e uma margem (collar) de 1s, além de pontuação tolerante a lacunas, atendendo às necessidades específicas de precisão de exibição da tarefa.
O benchmark, o sistema de referência e uma implantação ao vivo são lançados sob licenças permissivas para facilitar melhorias adicionais neste domínio especializado.