Авторы представляют эталонную систему и бенчмарк для субтитрирования сикхского киртана в реальном времени, который включает непрерывное пение стихов из Шри Гуру Грант Сахиб Джи. В отличие от транскрипции с открытым словарем, эта задача требует точного пословного совпадения с каноническим писанием, чтобы избежать религиозно неприемлемых опечаток.
- Бенчмарк v1 включает 12 тестовых случаев, полученных из четырех записей с ручной аннотацией и трех смещений холодного старта, что в сумме составляет около 57 минут оцененного аудио.
- Эталонная система, использующая дообученную модель IndicConformer на 120M параметров, достигает общей точности кадров 57,9% на самом сложном варианте с «слепым» воспроизведением в реальном времени, при этом RTF составляет ~0,05 на одном ядре Apple Silicon.
- Метод оценки вычисляет точность кадров с разрешением 1 с и допуском (collar) 1 с, а также использует оценку с учетом пауз, что соответствует специфическим требованиям к точности отображения текста в данной задаче.
Бенчмарк, эталонная система и живое развертывание выпускаются под разрешительными лицензиями, чтобы способствовать дальнейшим улучшениям в этой специализированной области.