शोधकर्ताओं ने ऑटोरेग्रेसिव ASR प्रणालियों में टाइमस्टैम्प ड्रिफ्ट की समस्या को संबोधित किया है, जहाँ उत्पन्न टाइमस्टैम्प्स लंबे नॉन-स्पेच स्पैन के दौरान ऑडियो से विचलित हो जाते हैं। उन्होंने REDDIT का प्रस्ताव रखा है, जो एक हल्का दो-चरण का पोस्ट-ट्रेनिंग फ्रेमवर्क है जो इन टाइमस्टैम्प्स को सुधारता है और गैर-लक्षित व्यवहारों के भयानक भूलने को रोकता है।
- विधि में रीप्ले-आधारित वितरण संपादन दृष्टिकोण का उपयोग किया जाता है जो मॉडल के अपने डिकोडर संदर्भ के तहत टाइमस्टैम्प लक्ष्यों को संपादित करता है जबकि गैर-टाइमस्टैम्प टोकन पर फ्रोजन बेस वितरण से मेल खाता है।
- सुधार निगरानी मानव ट्रांसक्रिप्ट या एनोटेशन के बिना VAD-ट्रिम किए गए स्पेच स्पैन, इंसेर्टेड नॉन-स्पेच गैप्स और ज्ञात कनेक्शन ऑफसेट को जोड़कर बनाई जाती है।
Whisper-tiny पर, केवल 34.9 घंटे के टारगेटेड करेक्शन ऑडियो का उपयोग करते हुए और मॉडल पैरामीटर के केवल 1.6% को अपडेट करते हुए, फ्रेमवर्क लॉन्ग-गैप mIoU को 38.7% से बढ़ाकर 95.0% कर देता है।
यह मिक्स्ड-गैप आउट-ऑफ-डोमेन AAS को 2752 ms से घटाकर 223 ms कर देता है जबकि CV-en MER को 41.3% पर बनाए रखता है, जो साधारण SFT डिकोडर ट्यूनिंग की तुलना में काफी बेहतर प्रदर्शन करता है जिसमें MER 524.2% था।
यह दृष्टिकोण फ्रेम-लेवल एलाइनर्स या इनफरेंस-टाइम पोस्ट-प्रोसेसिंग के बिना सटीक टाइमस्टैम्प्ड ट्रांसक्रिप्शन को सक्षम बनाता है, जो ड्रिफ्ट को प्रभावी ढंग से सुधारते हुए सामान्य ASR प्रदर्शन को बनाए रखता है।