يتناول الباحثون مشكلة انحراف طوابع الزمن في أنظمة التعرف على الكلام التوليدية المتسلسلة، حيث تنحرف الطوابع الزمنيّة المُولَّدة عن الصوت أثناء الفترات الطويلة الخالية من الكلام. ويقترحون إطار عمل REDDIT خفيف الوزن ذو مرحلتين ما بعد التدريب، يصحّح هذه الطوابع الزمنيّة مع منع النسيان الكارثي للسلوكيات غير المستهدفة.
- تستخدم الطريقة نهج تعديل التوزيع القائم على إعادة التشغيل، حيث تعدّل أهداف الطوابع الزمنيّة ضمن سياق فك التشفير الخاص بالنموذج، مع مطابقة توزيع الأساس الثابت على الرموز غير الخاصة بالطوابع الزمنيّة.
- يُبنى الإشراف التصحيحي دون الحاجة إلى نصوص أو تعليقات بشرية، من خلال دمج مقاطع الكلام المقصوصة بواسطة كشف الكلام (VAD) مع فجوات كلام مُدرَجة وإزاحات التركيب المعروفة.
- على نموذج Whisper-tiny، وباستخدام 34.9 ساعة فقط من صوت التصحيح المستهدف وتحديث 1.6% فقط من معاملات النموذج، يرفع الإطار متوسط تقاطع يونيون (mIoU) للفترات الطويلة من 38.7% إلى 95.0%.
- يقلل الخطأ في نطاق خارجي لمزيج الفجوات (AAS) من 2752 مللي ثانية إلى 223 مللي ثانية، مع الحفاظ على معدل الخطأ في النطق (MER) للنطاق CV عند 41.3%، متفوقاً بشكل كبير على ضبط فك التشفير التقليدي القائم على التعلم الخاضع للإشراف (SFT) الذي أسفر عن MER بنسبة 524.2%.
يتيح هذا النهج كتابة نصية دقيقة مع طوابع زمنية دون الحاجة إلى محاذاة على مستوى الإطار الزمني أو معالجة ما بعد الاستدلال، مما يصحّح الانحراف بفعالية مع الحفاظ على أداء التعرف العام على الكلام.