शोधकर्ताओं ने Lychee-FD का परिचय दिया, जो एक स्थानीय एंड-टू-एंड पूर्ण-डुप्लेक्स फ्रेमवर्क है जिसे Spoken Language Models (SLMs) के प्रदर्शन को कम करने वाले गंभीर मॉडैलिटी हस्तक्षेप को दूर करने के लिए डिज़ाइन किया गया है। कार्य इस बात की पहचान करता है कि यह हस्तक्षेप गहरे पैरामीटर स्पेस को साझा करते समय ध्वनि और अर्थशास्त्र मॉडलिंग के बीच ग्रेडिएंट संघर्षों से उत्पन्न होता है।
- गहरी परतों में विरोधी मॉडैलिटी को अलग करने की एक पदानुक्रमित पैरामीटर पृथक्करण रणनीति का प्रस्ताव दिया जाता है, जबकि समर्पित अर्थ संरेखण चैनल के माध्यम से क्रॉस-मॉडैलिटी सहसंबंध को बनाए रखता है।
- बोलचाल की बुद्धिमत्ता में महत्वपूर्ण सुधार हासिल करता है, जिससे Spoken QA बेंचमार्क्स पर +7.4% की वृद्धि होती है।
- FullDuplexBench 1.5 पर पूर्ण-डुप्लेक्स इंटरैक्शन की तरलता में +28.5% की सुधार करता है, बिना निष्पादन दक्षता को प्रभावित किए।
यह दृष्टिकोण मॉडैलिटी हस्तक्षेप के मौलिक कारण को स्पष्ट करने वाला पहला तरीका है और निर्बाध, उच्च-प्रदर्शन वाले स्थानीय बुद्धिमान पूर्ण-डुप्लेक्स SLMs के लिए एक व्यावहारिक समाधान प्रदान करता है।