Para penulis menyajikan sebuah benchmark dan sistem referensi untuk subtitel langsung Kirtan Sikh, yang melibatkan pembacaan nyanyian berkelanjutan dari ayat-ayat Sri Guru Granth Sahib Ji. Berbeda dengan transkripsi kosakata terbuka, tugas ini memerlukan kecocokan kata demi kata yang tepat dari kitab suci kanonik untuk menghindari kesalahan ejaan yang tidak pantas secara agama.
- Benchmark v1 mencakup 12 kasus evaluasi yang berasal dari empat rekaman anotasi tangan dan tiga offset cold-start, total sekitar 57 menit audio yang dinilai.
- Sistem referensi menggunakan IndicConformer 120M yang dihaluskan mencapai akurasi frame keseluruhan 57,9% pada varian buta langsung tersulit, dengan RTF sekitar 0,05 pada satu inti Apple Silicon.
- Metode penilaian menghitung akurasi frame pada resolusi 1s dengan collar 1s dan penilaian toleransi celah, mengatasi kebutuhan akurasi tampilan spesifik dari tugas tersebut.
Benchmark, sistem referensi, dan penyebaran langsung dirilis di bawah lisensi permisif untuk memfasilitasi peningkatan lebih lanjut dalam domain khusus ini.