लेखकों ने सिख कीर्तन की लाइव कैप्शनिंग के लिए एक बेंचमार्क और रेफरेंस सिस्टम प्रस्तुत किया है, जिसमें श्री गुरु ग्रंथ साहिब जी के श्लोकों का निरंतर गायकी में पाठ शामिल है। ओपन-वोकाब्युलरी ट्रांसक्रिप्शन के विपरीत, इस कार्य को धार्मिक रूप से अनुचित वर्तनी से बचने के लिए कैनोनिकल शास्त्र से शब्द-दर-शब्द सटीक मिलान की आवश्यकता होती है।
- बेंचमार्क v1 में चार हैंड-एनोटेटेड रिकॉर्डिंग और तीन कोल्ड-स्टार्ट ऑफसेट्स से प्राप्त 12 मूल्यांकन मामले शामिल हैं, जो कुल मिलाकर लगभग 57 मिनट के स्कोर किए गए ऑडियो का निर्माण करते हैं।
- एक फाइन-ट्यूंड 120M IndicConformer का उपयोग करने वाला रेफरेंस सिस्टम सबसे कठिन लाइव ब्लाइंड वेरिएंट पर 57.9% की समग्र फ्रेम सटीकता प्राप्त करता है, और एक Apple Silicon कोर पर ~0.05 का RTF होता है।
- स्कोरिंग विधि 1s रिज़ॉल्यूशन के साथ फ्रेम सटीकता की गणना करती है, जिसमें 1s कॉलर और गैप-टॉलरेंट स्कोरिंग शामिल है, जो कार्य की विशिष्ट डिस्प्ले सटीकता आवश्यकताओं को संबोधित करता है।
इस विशेषज्ञ डोमेन में further सुधारों को सुविधाजनक बनाने के लिए बेंचमार्क, रेफरेंस सिस्टम और एक लाइव डिप्लॉयमेंट परमिसिव लाइसेंस के तहत जारी किए गए हैं।