Los autores presentan un benchmark y un sistema de referencia para la transcripción en vivo del Kirtan sij, que implica la recitación cantada continua de versos del Sri Guru Granth Sahib Ji. A diferencia de la transcripción con vocabulario abierto, esta tarea requiere coincidencias exactas palabra por palabra del texto canónico para evitar errores ortográficos religiosamente inapropiados.
- El benchmark v1 incluye 12 casos de evaluación derivados de cuatro grabaciones anotadas manualmente y tres desplazamientos de inicio en frío, sumando aproximadamente 57 minutos de audio evaluado.
- Un sistema de referencia que utiliza un IndicConformer de 120M parámetros afinado alcanza una precisión general de fotogramas del 57,9% en la variante más difícil de ciego en vivo, con un RTF de ~0.05 en un núcleo de Apple Silicon.
- El método de puntuación calcula la precisión de fotogramas a una resolución de 1s con un margen de 1s y una puntuación tolerante a huecos, abordando las necesidades específicas de precisión de visualización de la tarea.
El benchmark, el sistema de referencia y un despliegue en vivo se publican bajo licencias permisivas para facilitar mejoras adicionales en este dominio especializado.