Lychee-FD mitiga la interferencia de modalidades en SLMs full-duplex nativos mediante separación jerárquica de parámetros

Los investigadores presentan Lychee-FD, un marco nativo end-to-end full-duplex diseñado para abordar la grave interferencia de modalidades que degrada el rendimiento de los Spoken Language Models (SLMs). El trabajo identifica que esta interferencia proviene de conflictos de gradiente entre el modelado acústico y semántico cuando comparten un espacio de parámetros profundo.

• Propone una estrategia de separación jerárquica de parámetros que desacopla las modalidades conflictivas en capas profundas mientras preserva la coherencia entre modalidades a través de un canal dedicado de alineación semántica.
• Logra mejoras sustanciales en la inteligencia del habla, obteniendo una ganancia de +7.4% en benchmarks de Spoken QA.
• Mejora la fluidez de la interacción full-duplex en un +28.5% en FullDuplexBench 1.5 sin comprometer la eficiencia de inferencia.

Este enfoque representa el primer método que aclifica la causa raíz de la interferencia de modalidades y proporciona una solución práctica para SLMs nativos inteligentes full-duplex, sin interrupciones y de alto rendimiento.