Lychee-FD atténue l'interférence de modalité dans les SLMs full-duplex via une séparation hiérarchique des paramètres

Les chercheurs présentent Lychee-FD, un cadre full-duplex natif de bout en bout conçu pour résoudre l'interférence de modalité sévère qui dégrade les performances des Modèles de Langage Parlé (SLMs). Le travail identifie que cette interférence provient de conflits de gradient entre la modélisation acoustique et sémantique lorsqu'ils partagent un espace de paramètres profond.

• Propose une stratégie de séparation hiérarchique des paramètres qui découple les modalités conflictuelles dans les couches profondes tout en préservant la cohérence inter-modalité via un canal d'alignement sémantique dédié.
• Réalise des améliorations substantielles dans l'intelligence vocale, offrant un gain de +7.4% sur les benchmarks Spoken QA.
• Améliore la fluidité de l'interaction full-duplex de +28,5% sur FullDuplexBench 1.5 sans compromettre l'efficacité de l'inférence.

Cette approche représente la première méthode à élucider la cause racine de l'interférence de modalité et fournit une solution pratique pour des SLMs full-duplex natifs intelligents, performants et transparents.