يقدم الباحثون Lychee-FD، وهو إطار عمل أصلي كامل الاتجاه من البداية إلى النهاية مصمم لمعالجة التداخل الشديد بين الوسائط الذي يقلل من أداء نماذج اللغة المنطوقة (SLMs). تحدد الدراسة أن هذا التداخل ينشأ من تضارب التدرجات بين النمذجة الصوتية والدلالية عندما يشاركان مساحة معاملات عميقة.
- يقترح استراتيجية لفصل المعلمات الهرمي تفصل الوسائط المتضاربة في الطبقات العميقة مع الحفاظ على تماسك عبر الوسائط عبر قناة مخصصة لمحاذاة الدلالات.
- يحقق تحسينات كبيرة في ذكاء الكلام، مما يؤدي إلى زيادة بنسبة +7.4% في معايير Spoken QA.
- يحسن سلاسة التفاعل كامل الاتجاه بنسبة +28.5% على FullDuplexBench 1.5 دون المساس بكفاءة الاستدلال.
يمثل هذا النهج الطريقة الأولى لتوضيح السبب الجذري لتداخل الوسائط ويوفر حلاً عمليًا لنماذج SLM الذكية الكاملة الاتجاه والأصلية عالية الأداء.