TiCodec एक कारकित प्रतिनिधित्व का प्रस्ताव देता है जो समय-अपरिवर्तनीय प्रतिनिधित्व निष्कर्षण (TIRE) मॉड्यूल का उपयोग करके समय-परिवर्तनीय स्पीच सामग्री को समय-अपरिवर्तनीय जानकारी से अलग करता है। यह दृष्टिकोण फ्रेम-स्तर पर मॉडल करने की आवश्यक जानकारी की मात्रा को कम करने का लक्ष्य रखता है, जिससे कम लेटेंसी स्पीच प्रसंस्करण सुविधाजनक होता है।
- प्रोबिंग कार्यों से पता चलता है कि मध्यवर्ती एनकोडर परतें वक्ता और वातावरण से संबंधित पूरक जानकारी को कैप्चर करती हैं, जबकि उनमें बहुत कम भाषाई सामग्री होती है।
- TIRE प्रशिक्षण के दौरान क्रॉस-फाइल सैंपलिंग अपरिवर्तनीय प्रतिनिधित्व की मजबूती को बढ़ाती है।
- प्रस्तावित Dual-TIRE आर्किटेक्चर इस पूरकता का लाभ उठाकर स्पीच पुनर्निर्माण गुणवत्ता और वक्ता समानता को बेहतर बनाता है।
- सफलत 660ms प्रसंस्करण ब्लॉकों का उपयोग करके स्ट्रीमिंग इनफरेंस पुनर्निर्माण प्रदर्शन में महत्वपूर्ण क्षति के बिना संचालन प्राप्त करता है।
परिणाम भविष्य की कम लेटेंसी स्पीच जनरेटिंग प्रणालियों के लिए कारकित न्यूरोल कोडक प्रतिनिधित्व की संभावना को उजागर करते हैं।