शोधकर्ताओं ने दिखाया है कि एक डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल पूरे ट्रांसक्रिप्ट को समानांतर में कुछ ही डीनोइजिंग चरणों में परिष्कृत करके स्पीच को ट्रांसक्राइब कर सकता है, न कि ऑटोरेग्रेसिव डिकोडर्स का उपयोग करके।
- दृष्टिकोण DiffusionGemma के लिए एक ऑडियो-नेटिव इंटरफेस का उपयोग करता है, जो 26B मिक्स्चर-ऑफ-एक्सपर्ट्स मॉडल है जो समान यादृच्छिक-टोकन डिस्क्रीट डिफ्यूजन के माध्यम से पाठ उत्पन्न करता है।
- एक फ्रोजन Whisper एन्कोडर हल्के प्रोजेक्टर को अकाउस्टिक फीचर्स प्रदान करता है, जिसमें लो-रैंक एडाप्टर्स फ्रोजन बैकबोन को नई मोडैलिटी पर ध्यान देने की अनुमति देते हैं।
- केवल लगभग 42M पैरामीटर ट्रेन किए जाते हैं (बैकबोन का 0.16 प्रतिशत), ऑडियो को ग्राउंड करने के लिए फ्रोजन आउटपुट हेड के माध्यम से कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन लॉस का उपयोग करते हुए।
- मॉडल LibriSpeech test-clean पर 6.6 प्रतिशत शब्द एरर रेट प्राप्त करता है और उच्चारण की लंबाई से स्वतंत्र रूप से लगभग आठ समानांतर चरणों में ट्रांसक्राइब करता है।
परिणामी सिस्टम छह भाषाओं पर ट्रेन किए गए एकल एडाप्टर का उपयोग करता है, जिसे यहाँ अंग्रेजी, हिंदी और मंडारिन पर आंकड़ा गया है, जो क्रमागत स्पीच रिकग्निशन के लिए एक समानांतर विकल्प प्रदान करता है।