शोधकर्ताओं ने ऑडियो में समय शब्द सीमाओं को खोजने के लिए एक सामान्य ग्रेडिएंट-आधारित विधि प्रस्तुत की है, जो किसी भी डिफरेंशिएबल ऑटोमैटिक स्पीच रिकग्निशन (ASR) मॉडल के लिए है, जिनमें वे शामिल हैं जो नेटिव रूप से एलाइनमेंट प्रदान नहीं करते हैं जैसे कि एटेंशन-आधारित एनकोडर-डीकोडर्स और स्पीच LLMs. दृष्टिकोण इनपुट के सापेक्ष प्रत्येक टीचर-फोर्स्ड टोकन लॉग प्रायिकता का ग्रेडिएंट की गणना करता है, इसे प्रति-फ्रेम सैलियेंसी में कम कर देता है, और गतिशील प्रोग्रामिंग के माध्यम से शब्द सीमाओं को डीकोड करता है।
- इस विधि को कोई प्रशिक्षण, मॉडल संशोधन, या अतिरिक्त एलाइनमेंट हेड की आवश्यकता नहीं है।
- यह CTC या ट्रांसड्यूसर मॉडलों द्वारा उपयोग किए जाने वाले मोटे एनकोडर फ्रेम ग्रिड के बजाय बारीक इनपुट ग्रिड पर एलाइन करता है।
- चार परिवारों से सोलह मॉडल पर मूल्यांकन दिखाता है कि यह प्रत्येक परीक्षित मॉडल के लिए उपयोग योग्य एलाइनमेंट देता है।
- प्रदर्शन सामान्य रूप से मजबूत नेटिव एलाइनर्स से थोड़ा पीछे है, लेकिन जहां नेटिव एलाइनमेंट कमजोर है, जैसे कि स्ट्रीमिंग मॉडल में, बेहतर है।
पहचानी गई मुख्य अड़चन प्रत्येक टोकन के लिए एक बैकवर्ड पास करने की कंप्यूटेशनल लागत है।